人工智能 (AI) 的发展轨迹将继续吸引全球各行各业。在这个不断变化的环境中，剖析塑造人工智能发展轨迹至关重要。综合行业思想领袖和风险投资家的见解，可以从其中的一角定义2024年人工智能格局。所有的思考都围绕着一个问题：人工智能在塑造创新和人类社会的未来方面发挥着怎样的关键作用？

AI平台的架构涉及的方面很广，按照系统领域设计可以分为应用服务域、策略管理域、知识管理域、AIops域和算力支撑域。按照基础架构的角度可以分为算力、存储、网络包括GPU集群的调度与搭建。

Hugging Face近日发布了nanoVLM，仅用750行代码从零开始训练视觉语言模型（VLM）。该项目秉承了Andrej Karpathy的nanoGPT等项目的精神：优先考虑代码可读性和模块化，同时不牺牲实际应用价值。

人工智能 (AI) 的发展轨迹将继续吸引全球各行各业。在这个不断变化的环境中，剖析塑造人工智能发展轨迹至关重要。综合行业思想领袖和风险投资家的见解，可以从其中的一角定义2024年人工智能格局。所有的思考都围绕着一个问题：人工智能在塑造创新和人类社会的未来方面发挥着怎样的关键作用？

若模型足够小，单个GPU能够搞定，则可以使用数据并行将其扩展到多个节点。随着模型大小的增加，可能需要张量并行才能将模型分布到单个节点内的多个 GPU 上。如果模型变得更大，可以在同一节点内应用张量并行，而在不同节点之间使用管道并行。

黄仁勋表示，AI下一个浪潮将是“具身智能”。英伟达、微软、Google纷纷展开机器人的军备竞赛。英伟达VIMA基于T5模型，交错融合文本和多模态输入，集合历史信息进行协助机器人预测下一步的行动。斯坦福大学利用LLM的理解、推理和代码能力，与VLM交互并生成3D Value Map，规划机械臂的运行轨迹。微软则是基于ChatGPT强大的自然语言理解能力和推理能力，生成机器人的控制代码。Google戏

《人工智能指数报告》由斯坦福大学、AI指数指导委员会及业内众多大佬Raymond Perrault、Erik Brynjolfsson 、James Manyika、Jack Clark等人员和组织合著，旨在追踪、整理、提炼并可视化与人工智能（AI）相关各类数据，该报告已被大多数媒体及机构公认为最权威、最具信誉的人工智能数据与洞察来源之一。2024年版《人工智能指数报告》是迄今为止最为详尽的一份报

​FlashAttention属于AI加速器，要读懂它需要先具备Transformer的背景知识以及注意力机制，最后才到FlashAttention。随着大模型优化技术的层出不穷，里面的kernel fusion技术将会越来越频繁的被提及，例如在Mamba中也被用于加速。因此借着FlashAttention的这个机会更加深入的了解下GPU。

《人工智能指数报告》由斯坦福大学、AI指数指导委员会及业内众多大佬Raymond Perrault、Erik Brynjolfsson 、James Manyika等人员和组织合著，该报告已被公认为最权威、最具信誉人工智能数据与洞察来源之一。

大型语言模型（LLM）的普及，越来越多的人对AI与LLM工程感兴趣，尤其是从模型设计到实际部署。应各位读者的要求，后续将陆续推荐一些英文书籍，这些书籍系统讲解AI与LLM工程知识，更以实际项目经验为依托，帮助读者从零构建可落地的AI系统。