想象一下这样一个世界：智能助手不再驻留在云端，而是驻留在你的手机上，无缝理解你的需求并以闪电般的速度做出响应。这不是科幻小说；这是小型语言模型 (SLM) 的前景，这是一个快速发展的领域，有可能改变我们与技术的互动方式。多年来，语言模型领域一直被其巨型对手——大型语言模型 (LLM) 所主导。LLM 拥有数十亿（甚至数万亿）个参数，拥有令人印象深刻的功能，但其庞大的规模也付出了代价：巨大的计算能力

ChatGPT 或当今底层的大型语言模型 (LLM) 能够在给出提示的情况下生成情境化的响应。作为 LLM 发展的下一步，我们希望响应能够根据最终用户的角色、对话历史、当前对话环境和情绪变得越来越个性化。LLM 个性化的主要优势包括：/wp:list在之前的文章 [1] 中，我们撰写了关于设计基于用例的 LLM 评估策略的文章。在某种程度上，当我们谈论应用生成式人工智能 (Gen AI) 来解决当

在我的行业中，使用大型语言模型在幻觉方面带来了许多挑战。想象一下，一个人工智能误读发票金额为 100,000 美元而不是 1,000 美元，导致多付了 100 倍。面对这样的风险，预防幻觉成为构建强大人工智能解决方案的关键方面。这些是我在设计可能容易产生幻觉的解决方案时关注的一些关键原则。

langgraph_code_assistant 是一个多功能的代码助手代理，旨在通过多轮交互、工具调用和状态管理，帮助用户生成、调试、优化和解释代码。它能够处理复杂的编程任务，如编写Python脚本、调试错误、生成测试用例和解释代码逻辑。该助手通过动态调整交互流程，基于用户输入或代码执行结果决定下一步操作，并集成外部工具（如

在涌现属性的情况下，预期的是一种特定的模式：随着参数数量的增加，性能几乎是随机的，直到在某个阈值处观察到某种属性（性能开始明显改善）。例如，缩放定律允许我们预测增加参数数量将提高规模性能，但同时，我们无法预测某些属性的出现，这些属性反而会随着参数的增加而突然出现。此外，作者指出，即使使用非线性指标，通过增加小模型评估的数据，效果也不会那么明显。换句话说，小模型在某项任务上表现不错，但我们无法检测到

llama.cpp是一个高效轻量的C/C++框架，用于在普通硬件上运行大型语言模型。它支持多种量化技术(1.5-8位)和硬件加速(CPU/GPU)，特别优化了Apple Silicon性能。核心特性包括GGUF模型格式、多模态支持、128k长上下文处理，以及Metal/CUDA/Vulkan后端。相比HuggingFace等框架，它更轻量、低内存，适合本地部署，但配置要求较高。该项目持续演进，已支

在本教程中，我们将逐步添加新的有用功能：从 OBJ 文件加载网格、加载纹理并最终应用照明。我们可以使用任何具有三角形面的 OBJ，但在这个例子中，我使用了 Blender 中的 Suzanne 猴子。/wp:image我们将从上一个教程中我们停止的地方继续旋转彩色立方体。

好吧，我们可能已经看到了第一个切实的迹象，表明不仅存在人工智能泡沫，而且它正在开始破裂。然而，尽管如此，英伟达股价在宣布这一消息后下跌了 6%，与英伟达相关的人工智能公司，如 Meta 和亚马逊，也受到了打击。现在，请记住，人工智能的发展收益递减，尽管研发支出不断增加，但仍然停滞不前，而且人工智能公司已经承认下一代人工智能模型目前不可行。我怀疑很多投资者，包括许多机构投资者，在注意到 Nvidia

使用大规模 LLM 会带来巨大挑战，特别是在内存管理和模型微调方面。一项可以缓解这些挑战的强大技术是分块，这是一种将大量输入或输出分解为更小、更易于管理的部分的策略。让我们深入研究分块策略的复杂性，探索它们在微调 LLM、在推理任务期间管理内存以及有效扩展这些模型中的应用。我们将介绍理论基础、实际实现、架构方法、与矢量数据库集成的最佳实践以及实际用例，为您提供有效优化 LLM 工作流程的知识和工具

LLM和 CRAG大致相同，唯一的不同点在于特别使用了本地 LLM（如 Llama3 或 Mistral）和本地嵌入模型（如 Nomic 嵌入），适合离线或隐私敏感场景。