登录社区云，与社区用户共同成长
邀请您加入社区
AI核心概念解析：大模型、智能体、AIGC与RAG的区别与联系 大模型（如GPT-4）是知识库型AI，擅长语言处理但被动响应；智能体（AI Agent）则是能自主行动的AI系统，具备规划执行能力。AIGC指AI生成的内容（文本/图像等），RAG是通过检索增强大模型的知识更新能力。四者关系可概括为：大模型是基础大脑，智能体=大模型+行动能力，RAG是知识增强插件，AIGC是产出结果。当前趋势显示，A
MIT、清华等团队提出的激活感知权重量化（AWQ）技术，解决了大模型低位量化中的精度损失、泛化能力差和硬件适配难题。该方法通过分析激活值分布识别关键权重，采用逐通道缩放保护其精度，无需混合精度或重新训练，即实现INT3/INT4量化下模型性能接近FP16水平。实验显示，AWQ在主流大模型上显著优于传统方法，降低3倍以上推理延迟，并成功将700亿参数模型部署到移动端GPU。该技术已被vLLM等主流框
gemini酒馆安卓手机端设置教程 量界ai教程
在绿联NAS私有云上本地化部署DeepSeek-R1大语言模型教程。DeepSeek 是杭州深度求索人工智能基础技术研究有限公司 (成立于2023年7月17日) 研发的推理模型，该模型采用强化学习进行后训练，旨在提升推理能力，尤其擅长数学、代码和自然语言推理等复杂任务。
本文此次的主要内容是使用强化学习训练语言模型的过程，特别是通过人类反馈的强化学习（RLHF）技术来微调大语言模型。本文先介绍了预训练模型的使用，然后重点介绍了RLHF的第二阶段，即将下游任务以特定数据集的形式交给大模型，以及第三阶段，即训练奖励模型。同时，文章还讨论了微调语言模型时使用的DFT方法和奖励模型的重要性，以及PPO在迭代更新参数中的作用。最后，本文提醒用户注意数据准备和奖励模型训练等额
目前为止，我们提到了很多次物理块的概念，到底什么是块呢？首先来看下物理块block(在块管理器BlockSpaceManager中使用)self,) -> None:# 该物理块在对应设备上的全局block索引号# 每个block槽位数量(默认16)# 在prefix caching场景下使用，其他场景值为-1# 该物理块的hash值是由多少个前置token计算而来的，非prefix cachin
你有没有遇到过这种情况，某天，你老板（**调度**）来到你面前，跟你（**running**）说，亲，你的工作饱和吗（**最大吞吐量**），要不要给你再来点？我想你肯定没遇到过。真实的情况是，老板会直接把工作甩你脸上，工作不饱和你就干吧，没时间干（**gpu资源不足或处理数量超出阈值**）就先积压起来（watiing or swapped），有时间再搞。
【代码】one-api 通过docker启动报错failed to get gpt-3.5-turbo token encoder。
阿里云服务器部署chroma
在 LangChain 4J 中，Prompt和的协同工作使得系统能够理解和处理连续的对话流。Prompt提供了生成回复所需的初始和引导信息，而则代表了对话中的具体发言和用户的输入。通过不断地更新Prompt和生成新的，LangChain 4J 能够保持对话的连贯性，并提供响应式的、自然的交互体验。
登录提示Access denied,You do not have access to chat.openai.com.
Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah 等 (OpenAI, 2020)在 GPT-2 证明了生成式模型具备 Zero-Shot（零样本）潜力的一年后，OpenAI 发布了参数量高达 1750 亿的“庞然大物” GPT-3。。
GPT-3.5级别的AI2B参数+普通CPU就能跑 免费、开源、离线、私有 周末就能搭一套生产级系统别再迷信大模型、贵显卡 你的笔记本，早已是AI神器。
文章摘要： 《驾驭工程（Harness Engineering）》是一种通过规则约束引导AI高效输出的方法论，类比软件开发中的规范流程。本章从Harness思维的起源讲起，并引入AI时代的规格驱动开发（SDD）——将需求文档（Spec）作为核心，使人类需求与AI任务说明书统一。相比传统开发中模糊的需求传递，SDD通过可版本化的规格文档（含测试代码）确保人机协同的精确性，提升开发效率。
Ollama/ LM studio + Anything LLM 为在本地简易高效地部署大语言模型称为了可能，通过本文对比了Ollama/ LM studio的情况，本人推荐在使用anything llm时，可以结合使用Ollama， LM Studio可以单独使用。
Anthropic开源了模型上下文协议，通过配置claude客户端可以发挥agent的作用，本文展示了该功能在文件管理方面的能力。
摘要： 文章探讨了大模型时代常见的“XY问题”误区，即用户过度关注局部步骤（Y）而忽视核心目标（X），导致模型无法提供最优解。作者指出，有效的人机协作应聚焦目标定义（X），让模型参与整体规划而非仅解决局部问题，同时强调人类需保留对结果的验证权，理解模型局限性。未来竞争力在于能否精准定义问题、描述目标并判断边界，而非仅依赖模型执行。文章提倡从“修补局部”转向“共谋全局”的协作模式，以实现更高效率与创
gpt-3
——gpt-3
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
AtomGit开源社区
腾讯云开发者社区
