Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。

Xinference 可以在启动 LLM 和 image 模型时连带一个 LoRA 微调模型用以辅助基础模型。

当前 MLLM 擅长全局场景级理解与推理，在像素级细粒度视觉理解任务上仍表现薄弱。视觉语言理解已从整体场景级认知，迈向更细粒度的像素级目标级推理。然而，当下的研究工作多局限于单个物体的描述，难以深入理解多对象属性、交互关系及其时序演变，且牺牲了模型本身的通用理解能力。

语言模型返回的内容通常都是字符串的格式（文本格式），但在实际AI应用开发过程中，往往希望model可以返回更直观、更格式化的内容，以确保应用能够顺利进行后续的逻辑处理。此时，LangChain提供的输出解析器就派上用场了。

大语言模型本质上是经过大量数据训练出来的自然语言模型，用户给出输入信息，大语言模型会根据训练的数据进行预测给出指定的结果，大语言模型本身是“无状态的”，模型本身是不会记忆任何上下文的，只能依靠用户本身的输入去产生输出。

在与大语言模型交互时，通常不会直接将用户的原始输入直接传递给大模型，而是会先进行一系列包装、组织和格式化操作。这样做的目的是：更清晰地表达用户意图，更好地利用模型能力。

在与大语言模型交互时，通常不会直接将用户的原始输入直接传递给大模型，而是会先进行一系列包装、组织和格式化操作。这样做的目的是：更清晰地表达用户意图，更好地利用模型能力。

使用AI时，你会不会也觉得，AI的回复很不错，但好像总欠一些火候，无法做到完美。如果你也有类似的经验，那么这篇文章对你或许有用。生活中，顺畅沟通的秘诀是，知己知彼。同样的，为了更好的AI“沟通”，我想我们需要了解AI背后的技术，大语言模型（LLM) 到底什么，导致今天各种AI应用能听懂我们的问题，回答我们问题，帮我们工作的底层逻辑是什么。

在基于大语言模型的RAG系统里，文本分块是非常关键的一步。分块做得好，后续的向量检索、结果召回和生成质量都会更稳更准。除了大家常用的固定大小、递归、语义、按文档等切法，至少还有好几种策略，能显著提升检索准确率、保持上下文连续，并适配不同任务。

随着技术的成熟，我们看到越来越多的能力正在被“平台化”。正如网站的开发从手写 HTML/CSS/JS，演进到了可以使用 WordPress、Wix 等建站平台一样，智能体的构建也迎来了平台化的浪潮。本文将聚焦于利用图形化、模块化的低代码平台搭建智能体，来将我们的重心从“实现细节”转向“业务逻辑”，分析低代码平台之间的区别并给出选型建议。