点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

人工智能和芯片技术已经深入到了我们的生活的方方面面，它们如何相互影响，共同推动科技的进步成为我们关注的焦点。2023年9月23日，由北京科技国际交流中心支持的人工智能与芯片技术的协调发展暨首都海智创新链接系列活动，邀请了中国科学院大学与中国科技大学兼职教授孙翼博士，鹏城实验室集成电路基础研究室研究员、浙江大学与中国科学院大学兼职教授陈春章博士，两位嘉宾从芯片基础原理、机器学习理论与实践等角度科普，与观众交流当下的热门技术，共同探索未来人工智能发展的新机遇。

孙翼：机器学习的革命：从理论到实践

孙老师首先介绍了AI的发展历程，从机器学习、深度学习的含义及应用等角度为大家科普了机器学习的演变和发展。AI教会计算机如何直接从原始数据中学习任务。AI无处不在，在现实生活中有各种应用，如在自然语言处理、计算机视觉、自动驾驶、金融服务等领域。

机器学习

机器学习的主要机理是机器自动搜索一个函数。在过去的机器学习研究中，希望它能够对单一的任务具有较强的泛化能力，而大模型的出现使得我们希望其对多个任务具有泛化能力。孙老师为大家介绍了机器学习中确定一个搜索函数的步骤：首先需要定义搜索空间，确定搜索的参数范围，确保搜索空间合理；其次确定目标函数，定义一个目标函数，评估给定参数配置的性能；最后执行优化，选择适当的搜索算法在定义的空间中寻找最优解。

为什么需要深度学习模型？

深度学习模型能够自动学习最优特征表示，而不需要手动设计或选择特征。这消除了特征工程的繁琐过程，使模型更适应不同的问题。数据规模巨大且质量不断提高，为深度学习提供了丰富的训练材料。硬件技术的飞速发展，尤其是通用图形处理单元（GPU）的广泛应用，使得深度学习模型的训练速度大幅提高，同时也降低了训练这些复杂模型所需的时间和成本。创新的网络结构和训练算法的出现，使得深度学习模型能够更好地捕捉复杂的数据特征和关系。

主流的深度学习网络

随后，孙老师为大家分享了主流的深度学习网络：CNN、RNN、Transformer。

卷积神经网络（CNN）是一种深度学习神经网络，广泛用于计算机视觉任务，如图像分类、目标检测、人脸识别等。CNN的网络架构可以根据任务的复杂性和数据的特性而变化，它们在不同的任务中取得了显著的成果。

递归神经网络（RNN）也是一种深度学习神经网络，其主要结构和特点是具有循环连接的神经元，允许网络处理序列数据。RNN在多个领域都有广泛的应用，如自然语言处理、语音识别、时间序列预测、图像生成、手写识别、序列生成等。

Transformer是一种革命性的深度学习架构，最初被用于自然语言处理，特别是机器翻译任务。它的基本结构是编码器和解码器。其中，自注意力机制是Transformer的关键组件之一，它允许模型在处理序列数据时动态地关注不同位置的信息，而不受固定窗口大小的限制，这使得模型能够更好地捕捉序列中的长距离依赖关系。同时，Transformer架构已经成为深度学习领域的一个重要里程碑，广泛应用于机器翻译、文本生成、语言识别、图像处理等多个领域，推动了自然语言处理、计算机视觉和其他任务的进步。

ChatGPT的发展与Transformer有密切的关系，ChatGPT是基于Transformer架构的自然语言处理模型。Transformer的成功激发了自然语言处理任务的创新，包括Google的BERT模型，Open AI在2018年发布的GPT模型以及之后更迭的GPT-2、GPT-3、ChatGPT。

BERT是一种基于Transformer架构的模型，其创新之处在于采用了双向的自注意力机制。相比传统的单向语言模型，BERT能够同时考虑上下文中的词汇，从而更好地理解文本。GPT-2于2019年由OpenAI发布，也基于Transformer架构，但与BERT不同，它是一个自回归模型，用于生成文本。GPT-2引入了更大的模型规模和更多的参数，以提供更流畅和具有上下文的文本生成。GPT-3是GPT-2的进一步扩展，具有巨大的模型规模，拥有1750亿个参数，具有出色的文本生成和理解能力。

ChatGPT是基于GPT-3的变体，它在GPT-3的基础上进行了一些微调和改变，以使其更适用于对话生成任务。ChatGPT的数据集包含了更多的对话数据，使其更适合产生对话式回复。它引入了一种称为"Prompt Engineering"的方法，这意味着用户可以通过以特定方式编写输入提示来引导模型生成期望的回复。这种方式可以使ChatGPT更容易控制生成的内容。此外，ChatGPT在训练中经历了一些微调，以减少不合适或有害的回复，提高了其在对话中的安全性和准确性。ChatGPT还引入了干预学习，通过人工反馈来改进模型性能的方法，允许用户通过在对话中提供示例来更精确地指导模型的回复，这有助于模型更好地适应用户的需求。

AI 基础设施

CPU是通用处理器，用于执行各种任务，但处理任务时速度较慢。GPU最初设计用于图形处理，具有大规模并行处理能力，旨在快速处理大量数据，特别擅长处理矩阵和向量运算。CPU和GPU在设计目标、并行性和内存架构方面存在本质区别。在某些情况下，两者可以协同工作，能够实现更高性能的应用程序。

孙老师介绍了GPU相较于CPU的优势。GPU通过并行处理能力，特别擅长对矩阵乘法等大规模数值计算任务的加速。GPU的主要优势之一是其并行计算架构。矩阵乘法中的许多操作可以在不同的处理单元上并行执行，从而提高整体计算速度。将大矩阵分割成小块，每个块独立处理，这有助于提高数据缓存的局部性，减少访问全局内存的次数，从而提高计算效率。

最后，孙老师总结了成为一名合格的人工智能研究者或开发者所需要具备的条件。第一是要具备从数据中自动提取知识的能力，需要掌握线性代数、概率统计、微积分和优化理论等数学原理；第二要掌握机器学习和深度学习知识：需要了解机器学习和深度学习算法的工作原理，包括神经网络、卷积神经网络（CNN）、循环神经网络（RNN）等，以及监督学习、无监督学习、强化学习等不同学习范式；第三是领域知识，对于特定应用领域（如计算机视觉、自然语言处理、机器人学等），需要具备相关的领域知识，以更好地理解问题和开发解决方案。

机器学习与通用人工智能相比还是有很大差距的。监督学习需要大量的标记样本和试验，而基于这种方式训练的系统是很脆弱的，容易犯一些“愚蠢”的错误，他们无法像人一样进行思考和推理，无法得知事情的因果关系。要想实现真正的通用人工智能需要让机器学会人是如何思考的，需要让数据科学、软件工程、硬件体系结构三者协同合作实现创新。

陈春章：芯片：人工智能的引擎

集成电路芯片设计是现代电子工程领域的重要组成部分，对于各种电子设备的研发起着关键作用。陈老师首先介绍了集成电路芯片的背景，并详细科普了微处理器、Memories存储器、Ip的含义及应用。

集成电路芯片设计

集成电路芯片设计是一个复杂的过程，通常包括以下三大部分：第一，设计。设计团队需要明确芯片的总体架构和电路设计，包括确定主要功能模块、连接方式、数据通路和控制逻辑等；第二，制造。在物理设计完成后，准备制造过程，包括掩膜制作、掩膜检验和芯片制造等；第三，封测。包括封装测试与生产测试，测试芯片的功能、性能与质量。

随后，陈春章老师介绍了集成电路设计的流程。ASIC设计（应用特定集成电路设计）是指根据特定的应用需求和规格要求，以设计定制集成电路芯片，以满足特定应用领域的功能、性能、功耗、成本等方面的需求。SoC设计（系统芯片设计）是指集成了多个功能模块和子系统的复杂芯片，通常包括处理器核、内存、外设接口、通信接口等，以满足多种应用需求。

微处理器

微处理器（Microprocessor）的主要结构包括以下关键组成部分：中央处理单元（CPU）、控制单元、内存单元、时钟与时钟控制、总线、输入/输出接口等。

GPU相对于CPU在处理图像数据上的优势主要体现在其强大的并行处理能力、专用图形处理特性和高内存带宽等方面，使其特别适用于图像处理、图形渲染和大规模数据处理等任务。GPU和CPU通常在不同类型的任务中发挥优势，在实际应用中，选择何种处理单元取决于具体的任务和需求。

随着人工智能大数据的到来，CPU与GPU的关联更加紧密，陈老师介绍了GPU的技术变革。GPU的发展历程经历了从仅用于图形渲染到通用计算的演变，成为科学计算、深度学习和其他高性能计算任务的核心组件，但它的本质仍然是模仿人类思维进行计算。在研究中，CPU、GPU以及记忆存储器被整合使用的数目越来越多，人们希望它们的算力越来越强大，能效越来越高，从而满足AI计算的需求。

SOC设计

SoC是一种集成了多个功能模块或组件的芯片，旨在实现特定系统的完整功能。它将多个系统组件整合到单一芯片上，以实现高度集成、低功耗和高性能。在最典型的SoC设计中必须有CPU，但是随着新设计需求的变化，GPU、应用处理器（AP）和DSP（数字信号处理器）被整合放入同一个大系统中。SoC中的部件繁多，但它的设计目标是充分利用集成度高、功耗低和性能高的特点，以满足特定应用场景的需求，从而适用于各种移动设备、嵌入式系统、物联网设备等领域。

随着ChatGPT版本的更新升级，它所需的硬件条件也越来越高，参数量越来越多。五年前的研究热点在于大数据、云计算、互联网，现在最火热的关键词是ChatGPT。但是，其中不变的一个点是将模型最终的输出结果转变为数据让硬件进行处理计算，从而输出可以应用的答案。

存储器

各类存储器在计算机和电子设备中具有各种不同的应用。随机访问存储器（RAM）是计算机中用于临时存储数据和程序的主要内存，它可以应用于运行应用程序、操作系统和临时数据存储，提供快速的读写速度。闪存存储器广泛用于移动设备、USB闪存驱动器、SSD（固态硬盘）等，可以用于长期数据存储、文件存储和操作系统安装。只读存储器（ROM）包含预先编程的数据，通常用于存储固件、引导程序和其他不可更改的系统数据，它在启动和初始化设备时非常有用。

陈老师随后分享了Memories存储器的另外一个方向：HBM。HBM是一种高宽带内存技术，可以提供极高的内存性能和效率。它通过垂直堆叠多个DRAM芯片，将高速通信通道直接整合到芯片堆叠中，从而大幅增加了内存带宽。此外，HBM采用了多层堆叠的设计，至少包括4到8层DRAM芯片的堆叠，使得内存容量相对较小，但带宽非常大，对于需要高性能内存而受限于物理空间的应用非常有用。

3D NAND也是一种存储技术，相对于传统的平面Planar 2D NAND，它采用了垂直堆叠的方式，使得存储单元在垂直方向上层叠，而不是水平分布。3D NAND通过在垂直方向上层叠存储单元，允许在有限的占地面积内增加存储。相较于2D NAND，3D NAND在相同面积内可以存储更多的数据，从而提高了存储密度。3D NAND的垂直层叠设计降低了对制造过程的严格要求，减轻了制造难度，降低了生产成本。

芯片IP

芯片使用的IPs（Intellectual Property）指的是集成电路领域的知识产权。例如，SerDes（Serializer/Deserializer）IP，它是一种在半导体领域常见的IP核（知识产权核）。SerDes IP将并行数据转换为串行数据和反序列化（将串行数据转换为并行数据）的功能。这对于在高速通信中传输和接收数据非常重要。同时，SerDes IP被广泛应用于许多领域，包括高性能计算、网络通信、数据中心互连、汽车电子、通信设备和许多其他需要高速数据传输的应用。

在数据传输速度单位方面，从MBps（兆字节每秒）到GBps（千兆字节每秒）再到TBps（兆兆字节每秒），代表了数据传输速度的不断提高和演变。未来，随着技术的进步和需求的增长，我们可能会看到更高级别的速度单位出现，以满足超大规模数据处理和超高速网络通信的需求。

未来在AI技术的驱动下，工艺技术也会逐渐关注社会、材料和系统，在软硬件协同设计的过程中，也会更加关注算法、EDA封装、测试封装和Chiplet等技术，从而在芯片或硬件领域实现大数据的应用和大算力的提升。

北京科技国际交流中心 (BISTEC)

北京科技国际交流中心（简称“中心”）在中国科协的指导下和市委市政府的领导下，按照市科协工作部署，围绕国际科技组织、海外科技人才以及国际及港澳台科技交流等开展具体工作，充分发挥科协系统民间科技交流渠道优势，深化对外科技交流成果，服务于国际科学传播，服务于海外人才成长发展，服务于基层科技创新，为加快建设国际科技创新中心、国际交往中心及高水平人才高地贡献力量。

通过建设首都海智基地，开展“创新链接”活动，搭建海外人才交流沟通平台，扩大联络海外科技人才覆盖面，创新服务海外人才工作模式，团结引领海外智力服务首都高质量发展。

整理：陈研

审核：孙翼、陈春章

提醒

点击“阅读原文”可以观看回放哦

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了1400多位海内外讲者，举办了逾600场活动，超600万人次观看。

我知道你

在看

哦

~

点击 阅读原文 观看回放！