登录社区云，与社区用户共同成长
邀请您加入社区
MIT、清华等团队提出的激活感知权重量化（AWQ）技术，解决了大模型低位量化中的精度损失、泛化能力差和硬件适配难题。该方法通过分析激活值分布识别关键权重，采用逐通道缩放保护其精度，无需混合精度或重新训练，即实现INT3/INT4量化下模型性能接近FP16水平。实验显示，AWQ在主流大模型上显著优于传统方法，降低3倍以上推理延迟，并成功将700亿参数模型部署到移动端GPU。该技术已被vLLM等主流框
gemini酒馆安卓手机端设置教程 量界ai教程
在绿联NAS私有云上本地化部署DeepSeek-R1大语言模型教程。DeepSeek 是杭州深度求索人工智能基础技术研究有限公司 (成立于2023年7月17日) 研发的推理模型，该模型采用强化学习进行后训练，旨在提升推理能力，尤其擅长数学、代码和自然语言推理等复杂任务。
本文此次的主要内容是使用强化学习训练语言模型的过程，特别是通过人类反馈的强化学习（RLHF）技术来微调大语言模型。本文先介绍了预训练模型的使用，然后重点介绍了RLHF的第二阶段，即将下游任务以特定数据集的形式交给大模型，以及第三阶段，即训练奖励模型。同时，文章还讨论了微调语言模型时使用的DFT方法和奖励模型的重要性，以及PPO在迭代更新参数中的作用。最后，本文提醒用户注意数据准备和奖励模型训练等额
目前为止，我们提到了很多次物理块的概念，到底什么是块呢？首先来看下物理块block(在块管理器BlockSpaceManager中使用)self,) -> None:# 该物理块在对应设备上的全局block索引号# 每个block槽位数量(默认16)# 在prefix caching场景下使用，其他场景值为-1# 该物理块的hash值是由多少个前置token计算而来的，非prefix cachin
你有没有遇到过这种情况，某天，你老板（**调度**）来到你面前，跟你（**running**）说，亲，你的工作饱和吗（**最大吞吐量**），要不要给你再来点？我想你肯定没遇到过。真实的情况是，老板会直接把工作甩你脸上，工作不饱和你就干吧，没时间干（**gpu资源不足或处理数量超出阈值**）就先积压起来（watiing or swapped），有时间再搞。
【代码】one-api 通过docker启动报错failed to get gpt-3.5-turbo token encoder。
阿里云服务器部署chroma
在 LangChain 4J 中，Prompt和的协同工作使得系统能够理解和处理连续的对话流。Prompt提供了生成回复所需的初始和引导信息，而则代表了对话中的具体发言和用户的输入。通过不断地更新Prompt和生成新的，LangChain 4J 能够保持对话的连贯性，并提供响应式的、自然的交互体验。
登录提示Access denied,You do not have access to chat.openai.com.
Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah 等 (OpenAI, 2020)在 GPT-2 证明了生成式模型具备 Zero-Shot（零样本）潜力的一年后，OpenAI 发布了参数量高达 1750 亿的“庞然大物” GPT-3。。
GPT-3.5级别的AI2B参数+普通CPU就能跑 免费、开源、离线、私有 周末就能搭一套生产级系统别再迷信大模型、贵显卡 你的笔记本，早已是AI神器。
文章摘要： 《驾驭工程（Harness Engineering）》是一种通过规则约束引导AI高效输出的方法论，类比软件开发中的规范流程。本章从Harness思维的起源讲起，并引入AI时代的规格驱动开发（SDD）——将需求文档（Spec）作为核心，使人类需求与AI任务说明书统一。相比传统开发中模糊的需求传递，SDD通过可版本化的规格文档（含测试代码）确保人机协同的精确性，提升开发效率。
Ollama/ LM studio + Anything LLM 为在本地简易高效地部署大语言模型称为了可能，通过本文对比了Ollama/ LM studio的情况，本人推荐在使用anything llm时，可以结合使用Ollama， LM Studio可以单独使用。
Anthropic开源了模型上下文协议，通过配置claude客户端可以发挥agent的作用，本文展示了该功能在文件管理方面的能力。
摘要： 文章探讨了大模型时代常见的“XY问题”误区，即用户过度关注局部步骤（Y）而忽视核心目标（X），导致模型无法提供最优解。作者指出，有效的人机协作应聚焦目标定义（X），让模型参与整体规划而非仅解决局部问题，同时强调人类需保留对结果的验证权，理解模型局限性。未来竞争力在于能否精准定义问题、描述目标并判断边界，而非仅依赖模型执行。文章提倡从“修补局部”转向“共谋全局”的协作模式，以实现更高效率与创
本文总结了AI Agent从概念验证到实际业务落地的关键挑战与解决方案。核心观点包括：1）任务分解应以用户体验为导向而非技术逻辑；2）状态持久化管理是应对中断和重启的基础；3）需要建立三层错误防御机制（重试/降级/人工兜底）；4）通过任务完成率、用户满意度等指标建立评估体系。文章通过电商客服案例说明，通过状态持久化、降级方案优化等工程改进，可将任务完成率从37%提升至89%。最终强调AI Agen
图来自B站某个视频，发现找不到原视频了！我们先来看下LLM是怎么结合到vllm中的。这是模型的入口，model_path路径指向下载的。可以看到通过from_engine_args来加载，继续往下看from_engine_args输入参数如下：cls(…, 这在本章开头的结构图中也能清晰看到。tokenizer比较简单，这里略过，schedule在第二篇文章中已经讲过。
vlllm官方代码更新频发,每个版本都有极大变动, 很难说哪个版本好用.第一次阅读vllm源码是0.4.0版本,对这版圈复杂度极高的调度代码印象深刻0.4.1对调度逻辑进行重构,完全大变样, 读代码速度快赶不上迭代的速度了。现在已经更新到0.5.4, 经过长时间观察，发现主要的调度逻辑基本也稳定了下来, 应该可以作为一个固话的版本去阅读。本文解读依据vllm 0.5.4版本. 没有修改任何代码,大
gpt-3
——gpt-3
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
腾讯云开发者社区
AtomGit开源社区
魔珐星云开发社区
