本文介绍了流式传输技术在大模型应用中的实现方案。通过SSE协议实现服务器向客户端的实时数据推送，解决传统响应等待问题。文章详细说明了vllm部署的流式输出格式处理流程，包括数据清洗、内容分类转换等步骤，并展示了FastAPI中StreamingResponse的实现方式。该方案能实时展示模型推理过程（如reasoning、action等类型数据）和生成内容，显著提升用户体验。技术要点包括SSE协议

这篇博客记录了我博士期间搭建的一个奶牛行为智能监控系统，系统整体由边缘侧、本地模型部署与云端界面协同的分层架构设计。系统集成了视频监控、行为识别、数据分析以及AI交互等核心功能。边缘侧：使用了hik的7路rgb相机和1路录像机，通过千兆交换机与服务器dell r730连接本地模型部署：服务器搭载了4路nvidia v100 16g计算卡，通过vllm部署了qwen3.6-9b模型，同时部署了奶牛目

本文介绍了牛场智能监控系统中Qwen3.5-9B大模型的部署方法。首先通过魔塔社区下载模型权重，使用ModelScope工具将模型保存至指定目录。然后基于vllm镜像部署模型，详细说明了docker-compose.yml配置文件的编写要点，包括GPU资源配置、端口映射等参数设置。部署完成后，系统可通过OpenAI格式的API接口调用模型，支持图像和文本的多模态输入处理。该模型作为智能体大脑，将统

本文基于 AgentScope 框架实现检索增强生成（RAG）系统，介绍了从 Embedding 模型部署、知识库构建到检索增强问答的完整流程。首先利用 Ollama 本地部署 mxbai-embed-large 向量模型，实现文本向量化；随后使用 AgentScope 提供的 TextReader、InMemoryStore 和 SimpleKnowledge 等组件完成知识文档切分、向量存储与

本文介绍了使用LangChain框架构建智能体，将已部署的Qwen大模型、目标检测、身份识别和行为识别服务封装为工具的过程。首先配置Qwen-3.5-9B模型作为基础大模型，然后通过@tool装饰器将各项AI服务包装为可调用工具，包括奶牛身份识别等具体功能。最后整合模型、工具和提示词构建智能体，并提供对话接口处理用户请求。该方案有效降低了智能体开发复杂度，实现了多AI服务的协同调用。

本文介绍了基于海康摄像头+Dell R730服务器的智能监控系统边缘侧部署方案。系统硬件包括7个海康摄像头、2T硬盘录像机和Dell R730服务器。部署过程包括：通过SADP工具配置摄像头和录像机同网段IP地址，在录像系统中添加摄像机并设置主/子码流参数，配置录像机全天录制和循环存储功能。服务器端通过网线连接交换机，设置与录像机同网段IP地址，并使用ffmpeg测试相机拍摄功能。系统成功实现了本