硅仙人：CUDA 是一片沼泽、x86是另一片！

2024-02-20 11:08:53 EETOP

点击关注->创芯网公众号，后台告知EETOP论坛用户名，奖励200信元

被网友戏称为“硅仙人”、曾从事 x86、Arm、MISC 和 RISC-V 处理器研究的传奇处理器架构师Jim Keller本周末批评了 Nvidia 的 CUDA 架构和软件栈，并将其与 x86 相提并论，称其为沼泽。他指出，即使是 Nvidia 自己也有多个专用软件包，出于性能考虑，这些软件包依赖于开源框架。

凯勒在一篇 X 帖子中写道："CUDA 是沼泽，而不是护城河，x86 也曾沼泽。[...]CUDA并不美丽。它是通过一次次的堆砌而建立起来的"。

确实，就像x86一样，CUDA在保持软件和硬件向后兼容性的同时逐渐增加了功能。这使得Nvidia的平台完整且向后兼容，但它影响了性能并使程序开发变得更加困难。同时，很多开源软件开发框架可以比CUDA更高效地使用。

“基本上没有人编写 CUDA，”凯勒在后续帖子中写道。“如果你确实编写 CUDA，它可能不会很快。[...] Triton、Tensor RT、Neon 和 Mojo 的存在是有充分理由的。”

甚至 Nvidia 本身也有不完全依赖 CUDA 的工具。例如，Triton Inference Server 是 Nvidia 的一款开源工具，可简化 AI 模型的大规模部署，支持 TensorFlow、PyTorch 和 ONNX 等框架。Triton 还提供模型版本控制、多模型服务和并发模型执行等功能，以优化 GPU 和 CPU 资源的利用率。

Nvidia 的TensorRT是一种高性能深度学习推理优化器和运行时库，可加速Nvidia GPU上的深度学习推理。TensorRT 从各种框架（例如 TensorFlow 和 PyTorch）中获取经过训练的模型，并对其进行优化以进行部署，从而减少延迟并提高图像分类、对象检测和自然语言处理等实时应用程序的吞吐量。

但是，尽管像Arm、CUDA 和x86这样的架构可能会被认为是沼泽，因为它们的演进速度相对较慢、必须向后兼容并且体积庞大，但这些平台也不像GPGPU这样分散，这可能根本不是一件坏事。

前尚不清楚 Jim Keller 对 AMD 的ROCm和英特尔的OneAPI有何看法，但很明显，尽管他花了很多年时间设计 x86 架构，但他并不迷恋其未来前景。他的言论还暗示，尽管他曾在世界上一些最大的芯片制造商工作过一段时间，包括苹果、英特尔、AMD、博通、现在是Tenstorrent等公司，但我们可能不会在 Nvidia 的名单上看到他的名字。

目前还不清楚吉姆·凯勒对 AMD 的 ROCm 和英特尔的 OneAPI 有何看法，但可以肯定的是，尽管他多年来一直在设计 x86 架构，但他并不看好其未来前景。他的言论还暗示，尽管他曾在苹果、英特尔、AMD、Broadcom（以及现在的 Tenstorrent）等全球最大的芯片制造商工作过，但我们可能不会很快在 Nvidia 的花名册上看到他的名字。

关键词： CUDA 硅仙人吉姆·凯勒