CUDA内核之神全球最强GPU程序员? OpenAI的"这位幕后"位幕后大神是谁

在AI圈里，聚光灯总是追逐着那些履历光鲜的明星人物。但一个伟大的团队，不仅有台前的明星，更有无数在幕后贡献关键力量的英雄。

之前我们介绍了OpenAI的两位波兰工程师，最近OpenAI又一位身处幕后的工程师成为了焦点。

起因是X上的一则热门帖子，其中提到OpenAI仅凭一位工程师编写的关键CUDAKernel，就支撑起每日数万亿次的庞大计算量。

评论区纷纷猜测，这位大神便是OpenAI的资深工程师ScottGray。

在OpenAI的官方介绍中也明确提到，他的工作重心是「优化深度网络在GPU上的性能」。

为什么一个能编写CUDAKernel的工程师会引起如此关注？

因为编写高性能的模型训练CUDAKernel是一项极度专业的技能，它要求开发者必须同时精通三大高深领域：并行计算理论、GPU硬件架构与深度学习算法。能将三者融会贯通的顶尖人才凤毛麟角。

大多数开发者停留在应用层，使用现成工具。从事推理优化的人稍多，因为其问题边界更清晰。然而，要深入底层，为复杂的训练过程（尤其是反向传播）从零手写出超越cuDNN等现有库的CUDAKernel，则需要对算法、并行计算和硬件有宗师级的理解。

而ScottGray的职业轨迹，恰好是为这个角色量身打造的。他并非典型的「神童」科学家，而是走出了一条专注于底层性能工程的「普通」道路。

ScottGray毕业于UIUC物理与计算机科学，2016年入职OpenAI，早年于Nervana从事GPU汇编级内核优化。

前NervanaCEO在评论区更是直接盖章，称他们当年在论坛发现Scott后便当场聘用，并盛赞其为「全球最强GPU程序员」。

CUDA内核之神、全球最强GPU程序员，这些名号放在同一个人身上，可想而知他的的实力有多硬核。不少网友开玩笑说，他可能已经上了小扎的「暗挖名单」。

接下来我们来回顾一下他的职业生涯和技术路线。

在Nervana压榨物理极限

ScottGray在AI领域的声名鹊起，始于他在NervanaSystems（一家后被英特尔以约4亿美元收购的公司）的时期。

当时，深度学习正处于爆发前夜，但软件框架与底层硬件之间存在着巨大的效率鸿沟。绝大多数开发者依赖NVIDIA的CUDAC/C++和官方库（如cuBLAS、cuDNN）进行GPU编程。这个标准流程虽然便捷，但其多层软件抽象（CUDAC->PTX中间语言->SASS机器码）屏蔽了硬件细节，也成为了性能的「天花板」。

Gray的哲学是，要实现真正的性能突破，必须绕过这些抽象层。

maxas汇编器：直接与硬件对话

Gray认为NVIDIA官方的汇编器（ptxas）在寄存器分配、指令调度等方面表现不佳，导致性能损失。

他没有选择在框架内小修小补，他开发了maxas，一个针对NVIDIAMaxwell架构的汇编器。这让他得以绕开编译器的束缚，手动编写出极致性能的计算内核。

maxas让开发者可以直接编写最底层的SASS机器码，从而获得对硬件资源的绝对控制权，包括手动分配寄存器、管理内存延迟、控制指令流水线等。

为了证明其价值，Gray使用maxas手写了一个SGEMM（单精度通用矩阵乘法）内核。结果是颠覆性的。

当时的GM204GPU上，该内核的计算效率达到了硬件理论峰值的98%，意味着软件开销几乎为零。

更重要的是，它的性能比NVIDIA官方闭源、同样由专家手写的cuBLAS库还要快4.8%。这向业界证明，即便是硬件厂商自己打造的「黄金标准」也并非不可逾越。

maxDNN：将极致优化方法论推广至卷积

在maxas成功的基础上，Gray将目光投向了深度学习中另一个核心计算——卷积。他开发了maxDNN，旨在证明maxas的底层优化方法论是一种可以系统性应用的通用策略。

maxDNN借鉴了当时最高效的卷积算法思路，但在底层完全采用maxas中被验证过的汇编级优化技术，例如使用128位纹理加载、激进的双缓冲策略来隐藏内存延迟，并对数据进行重组以实现完美的内存合并访问。最终，其核心计算循环中，超过98%的指令都是纯粹的浮点运算指令，计算效率极高。

maxDNN的性能表现全面超越了当时NVIDIA的cuDNN库。在AlexNet模型的所有卷积层上，maxDNN稳定地达到了93-95%的计算效率。相比之下，cuDNN的效率在32%到57%之间大幅波动。在Overfeat模型的某个卷积层上，maxDNN的效率更是达到了96.3%的峰值。

在Nervana的这两项工作，为ScottGray赢得了「性能优化大师」的声誉，并证明了通过深入硬件底层，一个小团队甚至单一个体也能创造出超越行业巨头的性能。

OpenAI时期：从优化算子到赋能新架构

加入OpenAI后，Gray的工作重心发生了战略性转变。随着ScalingLaws的提出，模型规模的增长成为提升性能的关键。然而，稠密模型的无限扩张在计算和成本上面临瓶颈。Gray的工作转向了为更高效的稀疏模型架构开发底层工具，从一个「优化者」转变为一个「使能者」。

ScottGray的名字出现在几乎所有OpenAI的里程碑式论文中，包括GPT-3、GPT-4、Codex和DALL-E。他作为核心技术人员，编写了大量高性能GPU内核，支撑了这些模型万亿次级别的训练和推理计算。他是将ScalingLaws这一理论发现转化为工程现实的关键人物之一。

为了解决稠密模型的规模化难题，Gray与同事共同开发了一套创新的块稀疏（block-sparse）GPU内核。

不同于移除单个权重的非结构化稀疏，块稀疏将权重矩阵划分为固定大小的块，并将整个块置零。Gray为此开发了专门的GPU内核，在计算时能够完全「跳过」这些零值块，从而大幅提升效率。

这些内核的运行速度可以比处理稠密矩阵的cuBLAS或处理通用稀疏矩阵的cuSPARSE快上几个数量级。

这种性能突破带来了巨大的架构优势。研究人员可以在固定的计算预算内，构建参数量远超以往的神经网络模型（例如，宽度是同等稠密网络5倍的LSTM模型）。利用这些内核，OpenAI在文本和图像生成等多个任务上取得了当时的SOTA成果。

与在Nervana时一样，OpenAI也将这些高性能的块稀疏内核进行了开源，旨在推动整个社区在模型和算法设计上的进一步创新。

（内容来源：证券时报）