随着算力和数据规模的快速扩展,基础研究正在回归,算法的重要性再次凸显,成为未来AI技术发展的关键瓶颈。

对Brockman而言,这并非坏事。他觉得整天围绕Attention is All You Need这一经典论文和Transformer做文章已经有些乏味,智力上难免让人觉得“不过瘾”。目前,强化学习已成为算法研究的新方向之一,但他也意识到,仍存在许多明显的能力缺口。

▲Greg Brockman(右)与主持人(左)

工程与科研,是驱动AI发展的两大引擎。工程师出身的Brockman认为,工程师的贡献与研究人员不相上下,甚至在某些方面更为重要。如果没有科研创新,就无事可做;如果没有工程能力,那些想法就无法实现。

OpenAI从一开始就坚持工程与研究同等看待,而两者的思维方式又有所不同。对新加入OpenAI的工程师,Brockman的第一堂课便是:保持技术上的谦逊,因为在传统互联网大厂行之有效的方法,在OpenAI未必适用。

产品与科研间的资源协调,也是OpenAI时常面临的问题。Brockman在访谈中承认,为了支撑产品上线的海量算力需求,OpenAI不得不以几乎是“抵押未来”的方式,借调部分本应用于科研的算力。不过,他认为这一取舍是值得的。

Brockman还在访谈中回顾了自己童年时期对数学的兴趣,再到转向编程,从哈佛转校至MIT,最终辍学加入金融科技创企Stripe的经历。由于篇幅所限,实录并未包含这部分内容。

在采访的尾声,Brockman回答了来自英伟达创始人兼CEO黄仁勋的两个问题,分别涉及未来AI基础设施的形态与开发流程的演变

Greg Brockman的这场采访录制于今年6月,以下是部分精彩内容的整理(智东西在不改变原意的前提下,进行了一定程度的增删修改):

一、工程师与研究人员同等重要,加入OpenAI第一课是技术谦逊

主持人:2022年时你说,现在是成为机器学习工程师的时候了,伟大的工程师能够在与伟大的研究人员相同的水平上为未来的进步做出贡献。这在今天还成立吗?

Greg Brockman:我认为工程师做的贡献和研究人员是相仿的,甚至更大。

一开始,OpenAI在早期就是一群博士毕业的研究科学家,提出一些想法并进行测试,工程对这些研究是必不可少的。AlexNet本质上是“在GPU上实现快速卷积内核(convolutional kernels)”的工程。

有趣的是,当时在Alex Krizhevsky实验室的人实际上对这一研究不以为然,他们觉得AlexNet只是用于某个图像数据集的快速内核,并不重要。

但Ilya说:“我们可以将其应用于ImageNet。效果肯定会很好。”这一决定将伟大的工程与理论创新结合了起来。

我认为,我之前的看法至今依然有效。现在,业界所需的工程不仅仅是打造特定的内核,而是构建完整的系统,将其扩展到10万块GPU,打造强化学习系统,协调好各个部分之间的关系。

如果没有创新的想法,就无事可做;如果没有工程能力,那个想法就无法实现。我们要做的是将两个方面和谐地结合在一起。

Ilya和Alex的关系,是研究与工程合作的象征,这种合作现在是OpenAI的哲学。

OpenAI从一开始就认为工程和研究同等重要,两个团队需要紧密合作。研究和工程之间的关系也是永远无法完全解决的问题,解决了当前水平的问题后,会面临更复杂的问题。

我注意到,我们遇到的问题,基本与其他实验室面临的情况相同,只是我们可能会走得更远,或出现一些不同的变体。我认为,这背后有一些根本性原因。在一开始,我明显感受到工程背景与研究背景的人,对系统约束的理解,差异很大https://zhuanlan.zhihu.com/p/1940228249339802824
https://zhuanlan.zhihu.com/p/1940229407294875522
https://zhuanlan.zhihu.com/p/1940228882449016793
https://zhuanlan.zhihu.com/p/1940230946898044694
https://zhuanlan.zhihu.com/p/1940232363213824481
https://zhuanlan.zhihu.com/p/1940235042371641543
https://zhuanlan.zhihu.com/p/1940235424082686079
https://zhuanlan.zhihu.com/p/1940235835103507638
https://zhuanlan.zhihu.com/p/1940237291525240670
https://zhuanlan.zhihu.com/p/1940238433919410328
https://zhuanlan.zhihu.com/p/1940239228685513254
https://zhuanlan.zhihu.com/p/1940239077799593391
https://zhuanlan.zhihu.com/p/1940240035585693008
https://zhuanlan.zhihu.com/p/1940240702060622731
https://zhuanlan.zhihu.com/p/1940240876317155375
https://zhuanlan.zhihu.com/p/1940241089366856306
https://zhuanlan.zhihu.com/p/1940241501461391067
https://zhuanlan.zhihu.com/p/1940242317383542100
https://zhuanlan.zhihu.com/p/1940242761174488109
https://zhuanlan.zhihu.com/p/1940243187437379844
https://zhuanlan.zhihu.com/p/1940243189119300401
https://zhuanlan.zhihu.com/p/1940243431780758927
https://zhuanlan.zhihu.com/p/1940243666343016325

作为工程师,你会认为:“如果接口已经确定,那就不必关心它背后的实现,我可以按任何我想要的方式来实现它。”

但作为研究人员,你会想:“如果系统的任何部分出现错误,我看到的只是性能稍有下降,没有异常提示,也不知道错误在哪。我必须对整段代码负责。”除非接口非常稳固、可以完全信赖——这是个很高的标准——否则研究人员就得对这段代码负责。这种差异常常带来摩擦。

我曾在一个早期项目中看到,工程师写好代码后,研究人员会对每一行进行大讨论,进度极为缓慢。后来,我们改变了做法,我直接参与项目,一次提出五个想法,研究人员会说其中四个不行,而我会觉得这正是我想要的反馈。

我们意识到的最大价值,也是我常对来自工程界的OpenAI新同事强调的,就是技术上的谦逊。

你带着宝贵技能进入这里,但这是与传统互联网初创公司截然不同的环境。要学会分辨什么时候可以依赖原有直觉,什么时候需要放下它们,这并不容易。

最重要的是,保持谦逊,认真倾听,并假设自己还有未理解的地方,直到真正明白原因。那时再去改变架构、调整抽象层。真正理解并带着这种谦逊去做事,是决定成败的关键因素。

Logo

欢迎加入我们的广州开发者社区,与优秀的开发者共同成长!

更多推荐