在AI大模型训练/推理上，NVIDIA的显卡无疑是目前使用最多的，AMD、Intel及谷歌等公司份额没法比，问题来了，NVIDIA到底强在哪里？这里不用提什么CUDA生态优势，也不用说AI算子等参数，Artificial Analysis直接对比了当前的三大推理方案的实际表现，分别使用谷歌TPU v6e、AMD MI300X 及NVIDIA H100/B200来对比。
测试的内容比较多，不过我们只看一个综合性的就够了，在30Token/s速度下每百万输入输出的成本，跑的模型是Llama 3.3 70B。
在这方面，H100的成本是1.06美元，H200也只有1.17美元，B200 TensorRT是1.23美元，B200是1.45美元，AMD的MI300X是2.24美元，而谷歌的TPU v6e是5.13美元。
对比下来，N卡相对AMD是至少2倍的性价比优势，对比谷歌则是5倍左右的优势，差距非常明显。
哪怕是用NVIDIA最新最贵的B200显卡，成本提升也不算太明显，毕竟性能是大增的，比AMD及谷歌的依然有很大优势。
现在可以说，AMD及谷歌当前的AI卡还是差不少的，但两家下一代产品提升很猛，AMD的MI400X系列最多432GB HBM4显存，谷歌的TPU v7据说也是几倍的性能提升，届时可能改写这个评测结果。
当然，NVIDIA也不会坐以待毙，下一代的Rubin显卡也发布了，明年也会陆续上市，有望进一步扩大差距。
via cnBeta.COM - 中文业界资讯站 (author: 稿源：快科技)
