5090跑AI比A100便宜一半，为什么还有人抢H100？

先看一组价格：在Nodus的定价页上，RTX 5090 每小时 0.48 美元 ，A100 80GB 是 1.09 美元 ，H100 SXM 是 2.60 美元 。单看这个数字，5090 像是把数据中心卡按在地上摩擦。但问题从来不是"每小时谁便宜"，而是"跑完一个任务谁便宜"。 结论先摆出来：只要你的活儿能塞进 32GB 显存，比如量化推理，或者对 8B 模型做一次 LoRA 微调，5090 通常是每完成一个任务最便宜的那张卡。一旦任务需要单卡超过 32GB、需要卡与卡之间的高速互联，或者需要 FP64 双精度运算，数据中心卡才对得起它的标价。 需要说明的是，这里没有 5090 对两张卡的实测跑分。下面的对比全部来自英伟达公开规格和 Nodus 定价页，算术过程直接摊开。 纸面上，5090 输在哪 5090 在显存带宽上咬得很紧，但在显存容量和多卡互联上落后一大截。对内存带宽敏感的推理任务，A100 80GB 的字节搬运速度是 5090 的 1.14 倍 （2,039 除以 1,792），H100 SXM 是 1.87 倍 （3,350 除以 1,792）。逐 token 生成时，每吐一个 token 都要把全部权重读一遍，带宽就是天花板。 拿一个权重占 16.4GB 的模型举例，比如 16 位精度下的 Qwen3-8B。按带宽算，5090 的理论上限是 1,792 除以 16.4，约 109 tokens/秒 ；A100 80GB 顶到 124，H100 到 204。真实服务器会低于这些上限，而批量请求会把瓶颈推向算力，那一块没有同口径的规格可比。 价格差距比速度差距大得多。A100 80GB 的时价是 5090 的 2.27 倍 ，H100 是 5.42 倍 。只按带宽算，两张数据中心卡都赚不回自己的时价。 一个任务跑完，各花多少 在一个能塞进 32GB、受带宽限制的任务上，5090 的成本大约是 A100 的一半，H100 的三分之一。假设一个批量生成任务在单张 5090 上要跑 10 小时，并假定每张卡的速度随带宽线性缩放：H100 会早 4.65 小时 跑完，但要多花 9.11 美元 。 由此得到一条一句话决策规则：把大卡的时价除以 5090 的时价。在 Nodus 上，A100 40GB（0.904 美元/小时）是 1.88 倍，A100 80GB 是 2.27 倍，RTX PRO 6000 96GB（1.35 美元/小时）是 2.81 倍，H100 SXM 是 5.42 倍。只有当大卡跑你的任务比这快出相应倍数时，它每完成一个任务才更便宜。如果你就是要结果早点出来，那就为 H100 付钱，并且清楚这些小时花在了哪。 哪些活儿塞得进 32GB 大约 30B 参数以内的模型，量化之后大多能放进单卡。权重占用大致等于参数量乘以每参数字节数，上面还要留出 KV 缓存、激活值和 CUDA 运行时的空间。 Qwen3-8B 权重在 16 位下是 16.4GB，4 位下是 4.1GB，两者都能在 5090 上跑，对 8B 模型做 QLoRA 微调余量充足。 16 位下的普通 LoRA 微调，8B 模型配中等序列长度能塞进 5090；长上下文或大 batch 会把激活值顶过 32GB。 Llama 3.3 70B 在 4 位下要 39.8GB，FP8 下要 72.7GB，单张 5090 都放不下。 70B 模型连 4 位都过不了 5090 这关，只能上 80GB 卡或 RTX PRO 6000 96GB。Nodus 在只指定模型、不指定显卡时也按类似规则分配：7B 和 8B 模型显存下限 24Gi，13B 和 14B 是 32Gi，70B 和 72B 是 80Gi。如果 24GB 就够，时价 0.29 美元的 RTX 4090 还更便宜。 什么时候必须换 A100 或 H100 碰上下面任意一条，就该选数据中心卡： 模型、优化器状态和激活值在单卡上超过 32GB。按 ZeRO 论文，混合精度下用 Adam 做全量微调，每参数约需 16 字节，7B 模型大约就是 112GB。 任务跨多张卡且卡间通信频繁。英伟达给 5090 的 NVLink 一栏标的是"无"，而 A100 和 H100 的卡间带宽分别是 600 GB/s 和 900 GB/s。没有 NVLink，这部分流量走 PCIe Gen 5，英伟达 H100 页面给出的数字是 128 GB/s。 需要双精度。英伟达 5090 页面没有列出 FP64 数据，H100 SXM 标称 34 TFLOPS。 想把一张卡切成互相隔离的多个分区。A100 最多支持 7 个 10GB 的 MIG 分区。 计算密集的训练任务足够大，大到 H100 的速度能压过它的价格比。 换一家云厂商，比