生成式AI（Generative AI，有时缩写为 GenAI）也是人工智能技术的一种。准确的说，生成式 AI 属于广泛意义上 AI 的一个子集。它能够根据给定的需求生成新的、原创的内容，包括生成文本、图像、音频、视频和其他类型的内容。生成式 AI 的工作原理其实并不复杂。它通过学习大量的数据（包括文本、图像、音频或视频等），让计算机系统“学会”如何重新组合和排列这些元素，从而创造出全新的内容。

如果将人工智能按照用途进行简单分类的话，AI其实要被划分为两类：决策式AI和生成式AI。判别式AI：专注于分析情况并做出决策。它通过评估多种选项和可能的结果，帮助用户或系统选择最佳的行动方案。例如，在自动驾驶车辆中，就是通过决策式AI系统决定何时加速、减速或变换车道。生成式AI：专注于创造全新内容。它可以根据学习到的数据自动生成文本、图像、音乐等内容。例如，你可以将几篇论文发给生成式AI，他可以生

作为360鸿图大模型的重要组成，智脑模型拥有多项核心功能，包括多模态理解、多语言处理、知识问答、逻辑推理、多轮对话等。九天人工智能平台提供人工智能算力、算法、数据，汇聚优秀AI能力，打造从智算基础设施、核心算法能力到智能化应用的全栈人工智能服务，全面支持自智网络等多样化运营商智慧运营需求，为工业、医疗、政务、教育、金融等行业客户构建创新解决方案。此外，360智脑模型还积极与各行业合作伙伴共同打造行

随着 LLM （大型语言模型）技术的快速发展,越来越多的开发者和组织开始尝试将其应用于实际场景。然而，这些庞大的模型往往存在着计算能力和内存占用高昂的问题，这限制了它们在一些特定环境下的应用性。这就为 SLM （小型语言模型）提供了机会，成为一种更加高效和可访问的替代方案。与拥有数千亿甚至数万亿参数的 LLM 相比，SLM 的参数量通常在几百万到几十亿之间，大幅减小了模型的体积和复杂度。

注意，如果您增加了GPU的数量，请更新num_processes现在让我们运行加速器命令来开始训练，

SFT中文释义为：一种通过监督学习进行模型微调的方法。``RLHF的释义为：一种利用人类反馈进行强化学习的方法，该方法通过收集人类对模型输出的反馈；然后使用这些反馈来优化模型的行为。说白了，不论是SFT还是RLHF的目的只有一个，那就是让模型变得更好。‍‍‍‍‍‍‍SFT——监督微调_‍‍‍‍监督微调的原理很简单，就类似于学生上学，不论题目做的是对是错，老是都会告诉你一个正确的结果，也就是答案。监

2.1.什么是 Llama3?Lllma3 是 META 公司发布的开源语言大模型，与 chatGPT 类似，它可以完成一系列诸如对话，翻译，上下文理解等等复杂任务，你可以把它理解为一个免费，可以部署在你的电脑无须联网就可以使用的 AI 助手。2.2.什么是 Ollama？Ollama 是一个支持在本地运行大语言模型的工具，兼容 Windows 和 MacOS 操作系统。使用 Ollama，您仅需

在创建数据集时，有几个主要问题需要牢记。特别是在大型语言模型预训练的情况下，“高质量”并不是一个非常明确的术语，甚至通过直接人类观察也难以清晰感知文档的质量。通常的做法是使用一个被认为“干净”的语料库（例如维基百科）来训练一个模型，并用它来检查待整理数据集的困惑度。然而，这种方法并不总是能在一组感兴趣的下游任务上带来性能提升。例如，假设我们有一个新的网络爬取数据集，我们可以用维基百科训练的模型来计

AI技术正以惊人速度进步，大型语言模型（LLMs）在自然语言处理和内容创作等领域展现出巨大潜力。Ollama，作为本地AI模型部署的创新者，为开发者和用户提供了前所未有的隐私保护和便捷性。Ollama允许用户在本地机器上直接运行AI模型，无需担心数据隐私泄露，尤其适合对数据安全有高要求的用户。Ollama代表了前沿技术，它的易用性和开放性让AI技术更加民主化，让每个人都能轻松利用AI解决实际问题。

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）