最近和nvidia的几个有co-operation聊天说这事情，他们觉得nvidia的CUDA和nvlink优势正在消失，消失的主要原因不是nvidia技术不先进或者没有进取心 而是transformer家族固化了gpu计算的算子，而开源的大模型也使得对于大模型高性能训练的需求从公司个人都需要变为了只有大公司需要。而nvidia的CUDA对于纯粹推理其实和其他开源竞品来说都没有绝对优势。。 更绝望的是，有了第一个开源的大模型，即使nvidia也要在开源大模型上卷，才…