有同学给我留言说想知道怎么训练自己的大语言模型，让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。本文就来介绍一种大语言模型微调的方法，使用的工具是我最近在用的 Text Generation WebUI，它提供了一个训练LoRA的功能。

大型语言模型（Large Language Models，LLMs）是非常大的深度学习模型，预先在海量数据上进行训练，其底层的 Transformer（在 2017年由谷歌在论文“Attention Is All You Need”中首次提出）是一组神经网络，包括具有自注意力能力的编码器和解码器。编码器和解码器从文本序列中提取意义，并理解其中单词和短语之间的关系。Transformer LLMs能

本文提供完整版报告下载，请查看文后提示。......文│斯坦福。

AI for Science（AI4S）正在重塑科研范式，AI大模型已深度嵌入科学研究的全流程。AlphaFold将蛋白质结构预测从"年"级缩短到"分钟"级，获得2024年诺贝尔化学奖；谷歌的AlphaEvolve在数学难题上超越人类最优解，并实现Google数据中心0.7%的算力节省。当前AI在科研中呈现三级演进：工具级（执行单一任务）、分析师级（多步骤分析）、科学家级（端到端自主研究）。未来需

人工智能（AI）的快速发展引发了各行业的变革性转变。在 AI 的众多进步中，智能体作为创新的基石脱颖而出，重塑了行业格局，提升了用户体验，并将自动化推向了新的高度。这些自主运行的虚拟机已经在客户服务、医疗保健、金融甚至娱乐等领域占据了一席之地。那么，人工智能智能体的未来会是怎样的呢？在本文中，我们将探讨 2025 年及未来几年人工智能智能体的趋势和预测。什么是人工智能智能体？2024 年人工智能智

vLLM（Vectorized Large Language Model Serving System）是由加州大学伯克利分校团队开发的高性能、易扩展的大语言模型推理引擎。它专注于通过创新的内存管理和计算优化技术，实现高吞吐、低延迟、低成本的模型服务。

离线蒸馏是指知识渊博的老师教给学生知识；在线蒸馏意味着教师和学生共同学习；自我蒸馏是指学生自学知识。这三种蒸馏方案可以相互结合。

1 BPE、wordpiece、sentencepiece的区别？目前的机器学习模型都是基于数学模型，这意味着输入必须是数字形式。然而，在真实场景中，我们处理的输入通常包含许多非数字形式（有时即使原始输入是数字形式，也需要进行转换）。最典型的例子就是自然语言处理（NLP）中的文本输入。为了让文本能够被模型处理，我们需要将其转换成数字形式，这个转换过程就是通过映射关系（mapping）实现的。具体来

对于初学者来说，刚接触到人工智能（AI）、机器学习（ML）和深度学习（DL）可能会分不清，不知道它们的联系，或者不知道它们是什么概念，也不知道它们能做什么。本文旨在帮大家系统地理清概念，了解技术上面的差异，可以更有目标的去学习及应用。通俗来说，人工智能就是让计算机像人类一样思考、学习和做出决策。通过利用各种技术（如机器学习、深度学习、专家系统等），人工智能系统可以处理和分析大量数据，自主地学习和优

你有没有想过未来会是什么样子?也许就像80年代那会儿,当初没人想到那些占地一间房那么大的电脑,竟然会缩小到今天的PC和手机这样。如今的人工智能大模型,可能就像当年的PC一样,正在悄悄地改变着我们的生活方式。大模型是指具有大量参数和复杂结构的机器学习模型,旨在提高AI的表达能力和预测精度。通过在海量数据上进行预训练,它们可以胜任越来越复杂的任务,从自然语言处理到计算机视觉等。有点儿像是从手工作坊走向