在这里插入图片描述

💎【行业认证·权威头衔】
✔ 华为云天团核心成员:特约编辑/云享专家/开发者专家/产品云测专家
✔ 开发者社区全满贯:CSDN博客&商业化双料专家/阿里云签约作者/腾讯云内容共创官/掘金&亚马逊&51CTO顶级博主
✔ 技术生态共建先锋:横跨鸿蒙、云计算、AI等前沿领域的技术布道者

🏆【荣誉殿堂】
🎖 连续三年蝉联"华为云十佳博主"(2022-2024)
🎖 双冠加冕CSDN"年度博客之星TOP2"(2022&2023)
🎖 十余个技术社区年度杰出贡献奖得主

📚【知识宝库】
覆盖全栈技术矩阵:
◾ 编程语言:.NET/Java/Python/Go/Node…
◾ 移动生态:HarmonyOS/iOS/Android/小程序
◾ 前沿领域:物联网/网络安全/大数据/AI/元宇宙
◾ 游戏开发:Unity3D引擎深度解析


🚀前言

深度学习诞生时的环境,是辛顿的坚持获得成功的基础。
在这里插入图片描述

🚀一、疯狂冒险家黄仁勋与GPU

GPU 制造商英伟达(NVIDIA)的CEO黄仁勋(Jen-Hsun Huang)1963年出生于中国台北,1984年毕业于俄勒冈大学电机工程系,后于斯坦福大学取得硕士学位。

中国著名人工智能专家、格灵深瞳创始人赵勇博士曾这样评价:“有人说是深度学习成全了英伟达的GPGPU(通用图形处理器),但我认为,其实是GPGPU成全了深度学习。”赵勇强调,如果没有英伟推出的CUDA(计算统一设备架构)平台,科学界验证深度学习巨大潜力的时间可能还要推迟多年。更难能可贵的是,通用GPU技术大幅降低了高性能并行计算的门槛,使得即使是普通科研人员使用的台式机也能部署上万个并行处理核心,极大促进了深度学习技术在学术界和工业界的普及与发展。可以说,如果没有GPGPU,辛顿等坚持数十年的神经网络研究者,可能还要在默默无闻中等待更久。

赵勇的观点或许略显绝对,更中立的表述是:深度学习与GPU实则互相成就,实现了真正的双赢。深度学习依托GPU强大的并行计算能力,展现出工程可行性与广泛的应用前景;而GPU则借助深度学习打开了一个又一个AI新市场,迎来爆发式增长。

GPU正是由黄仁勋创办的英伟达公司首创。许多人曾感到不解:一家来自硅谷、主营游戏显卡的公司,为何能在深度学习浪潮中扮演关键角色,并最终成长为今天的科技巨星?这其实也是一段属于华人企业家黄仁勋的励志故事。

自1993年创立英伟达以来,黄仁勋长期在英特尔等芯片巨头的夹缝中寻求发展。尽管1999年英伟达推出了革命性的图形芯片GeForce256,并首次提出GPU(图形处理器)这一概念,但当时GPU主要被用于游戏显卡,仍被视为PC产业中一个细分而有限的市场。

黄仁勋是一位极具雄心、相信技术改变未来的“工作狂”,同时也乐于深入实验室与科研人员探讨技术前沿。因此,当英伟达首席科学家、美国工程院院士戴维·科克(David Kirk)提出开发高性能通用GPU的设想时,他毫不犹豫地给予了坚定支持。他相信科克的超前判断——科克不仅学术声望卓著,还曾领导开发出英伟达最畅销的独立显卡产品。

用廉价的高性能通用GPU支持大规模并行计算,在今天看来是一个颠覆性的理念,但在2007年前后,英伟达正陷入严重困境:股价从37美元暴跌至6美元,而科克设想的强大GPU计算平台仍缺乏明确的市场需求。在一片内外压力之下,黄仁勋仍坚持支持这一看似疯狂的计划。

2007年,英伟达推出基于CUDA开源平台的通用GPU测试版,此后所有英伟达GPU均支持该架构。CUDA吸引了大量开发者使用英伟达GPU进行编程,极大增强了GPU的开放性与通用性,初步构建起围绕GPU的计算生态。

转机随之而来。传统的CPU基于冯·诺依曼架构,并不擅长并行计算,而GPU从设计之初就支持单指令多数据流,在大规模并行计算方面表现出压倒性优势。2010年,NVIDIA 480 GPU芯片实现了每秒1.3万亿次浮点运算;2015年Titan X更是达到6.1万亿次。相比之下,人类首台每秒万亿次浮点运算的超级计算机直到1996年底才出现,造价高达数百万美元,而一块高性能GPU芯片仅需几百至一千多美元。专家比较发现,GPU在执行特定任务时的速度可达CPU的100至300倍。

深度学习所依赖的海量矩阵运算,恰属于这类高度并行化的“特定任务”。于是,擅长并行计算、性能强大且价格相对低廉的GPU,成为训练深度神经网络的不二之选。不仅辛顿的实验室采购大量GPU设备,全球人工神经网络研究者也纷纷效仿。随着深度学习不断突破,作为硬件基础的GPU也迎来爆发式增长。

2016年,英伟达凭借在AI领域的超前布局成为芯片行业最大赢家,股价翻倍。2017年国际消费电子展(CES)期间,更传出英伟达有望超越英特尔的市场预言。这些大胆设想最终被现实远远超越:随着AI浪潮席卷全球,英伟达GPU需求激增,高端芯片甚至成为某些国家用以限制他国AI发展的战略工具。2024年11月,英伟达市值两度登顶全球,达到惊人的3.65万亿美元,刷新历史纪录。同年,黄仁勋当选美国工程院院士。

可以说,辛顿与深度学习成功了,黄仁勋与英伟达也同样成功了。

Logo

更多推荐