登录社区云,与社区用户共同成长
邀请您加入社区
本文分享了8个提升FastAPI开发效率的实用技巧:1)使用Pydantic模型自动校验请求数据;2)通过Depends实现依赖注入复用代码;3)用APIRouter模块化路由管理;4)利用lifespan管理资源生命周期;5)统一异常处理规范错误响应;6)BackgroundTasks处理轻量异步任务;7)response_model控制返回字段;8)规范参数声明自动生成文档。这些技巧能帮助开发
本文介绍了流式传输技术在大模型应用中的实现方案。通过SSE协议实现服务器向客户端的实时数据推送,解决传统响应等待问题。文章详细说明了vllm部署的流式输出格式处理流程,包括数据清洗、内容分类转换等步骤,并展示了FastAPI中StreamingResponse的实现方式。该方案能实时展示模型推理过程(如reasoning、action等类型数据)和生成内容,显著提升用户体验。技术要点包括SSE协议
开源AI技术栈五层架构解析:从大语言模型到前端交互的完整自主解决方案 摘要: 开源AI生态已形成完整五层技术栈,让开发者摆脱商业API依赖。1)大语言模型层(Llama、Mistral等)提供媲美商业模型的智能核心;2)数据检索层(Milvus、Weaviate等)实现私有知识管理;3)后端层(LangChain、Ollama等)处理模型调用与流程编排;4)嵌入与RAG层(Nomic、LLMWar
华为宣布华为开发者大会(HDC 2025)将于6月20日-22日在东莞松山湖举办。此次大会,华为将发布包括盘古基础大模型、盘古行业推理大模型、昇腾AI云服务基础设施在内的最新进展。下午中共中央政治局就加强人工智能发展和监管进行第二十次集体学习。会上强调,面对新一代人工智能技术快速演进的新形势,要充分发挥新型举国体制优势,坚持自立自强,突出应用导向,推动我国人工智能朝着有益、安全、公平方向健康有序发
覆盖10万-100万价位,如海豚(入门代步)、汉EV(中高端轿车)、仰望U8(百万级越野)。:中大型豪华轿车,续航715km,刀片电池+DiPilot智驾,适合商务/家庭用户。:增程式SUV,综合续航1300km,鸿蒙座舱+华为ADS 2.0,适合科技爱好者。:旗舰SUV,空气悬架+激光雷达,对标理想L9,高端市场新选择。:微型电动车,续航305km,价格7.38万起,城市代步神器。:全球化车型,
本文深入拆解大模型API的流式输出(Streaming)机制。从SSE(Server-Sent Events)协议原理讲起,演示Python异步生成器如何逐Token接收模型响应,并给出FastAPI流式接口+前端EventSource接收的完整前后端实现。文中配以Mermaid时序图展示流式输出的全链路数据流,并对比了流式与非流式在用户体验和首次响应时间上的实测差异,适合想让AI应用摆脱"旋转菊
在Web服务中,HTTP请求(Request)和HTTP响应(Response)是客户端和服务端交互的核心机制。客户端通过发送请求来获取资源或执行操作,服务端则根据请求内容返回相应的响应数据。FastAPI 提供了简洁高效的Request和Response对象,帮助开发者方便地处理传入的请求数据和构建返回的响应内容。
后面将会给现有的智能体做阶段的升级,完善系统功能,并修复漏洞。
本篇文章记录 HuiVision 慧视项目的后端开发进展,重点介绍 FastAPI 后端如何对接视觉大模型、阿里云语音服务和高德地图服务,以及小程序端如何调用这些接口完成图片识别、语音播报和出行引导。一开始后端接口是 `/travel/analyze`,而小程序端写的是 `/api/travel/analyze`。小程序只需要调用我自己定义的接口,真正的密钥和第三方服务调用都放在后端。小程序端通过
目标检测模型服务化是计算机视觉落地的核心环节,其本质是将训练好的深度学习模型封装为高可用、低延迟、可观测的HTTP推理服务。原理上需兼顾预处理灵活性、后处理可控性与参数动态配置能力,而传统云平台原生部署常受限于黑盒化流程。采用FastAPI构建轻量Web服务,结合Docker容器封装Ultralytics官方环境,可实现端到端链路自主掌控,显著提升产线适配效率与审计合规性。该方案天然支持VPC内网
本文分享了一个基于AI技术的智能饮食助手项目,适合编程初学者参考学习。项目采用Vue3+FastAPI+YOLO/OCR+MySQL技术栈,实现菜品识别、营养分析、过敏原检测等功能。系统支持图片上传、OCR文字识别、YOLO图像分割,能生成营养报告和饮食建议,并提供个性化档案管理。项目包含完整用户系统,可选AI对话功能,技术涉及前端Vue3、后端FastAPI、计算机视觉YOLO/OCR等技术组件
本文基于 FastAPI+Vue3 自研适配 Kali 的 PengStrike AI 渗透平台,集成四十余款安全工具,兼容 Ollama 等大模型,支持自然语言调度工具。内置 AutoPilot 全自动渗透流程,依托 MCP 规范统一工具调用,具备多模型容灾、高危命令防护与实时日志推送能力。项目已开源发布 Alpha 测试版,降低渗透入门门槛,欢迎社区参与迭代优化。
说是异常记录,其实也是一次与AI Agent的深度交流,解决的是swaggerUI界面某个输入框内容中出现了乱码问题。
Function Calling 并非模型额外新增语法,而是基于 Prompt 工程 + 模型语义理解实现的能力:开发者预先定义函数名称、功能描述、入参结构,大模型根据用户提问,自动判断是否需要调用函数、选择对应函数并生成标准化参数,交由后端执行,最后将执行结果回传给模型完成二次应答。当下大语言模型已广泛应用于对话、文案、问答等场景,但传统模式下模型仅能做文本生成,无法主动对接外部工具、业务接口与
多智能体系统的核心不只是 Prompt工作流编排比单轮调用更适合复杂任务状态管理和路由设计决定了系统是否可靠人工审核节点在真实业务里非常重要FastAPI 很适合把 Agent 工作流快速封装成服务如果只是做一个“能回答问题”的 Agent,其实并不难。真正有挑战的是:怎么让它按你设计的业务流程稳定运行,并且在关键节点允许人类接管。而这也是我觉得 LangGraph 这类框架真正有价值的地方。
SoWork AI Agent 是一个集成了AI Code技术框架和智能体进化功能的编程助手。常见问题解答包括前端刷新方法、Token统计管理、输出截断设置、进化引擎触发条件(空闲15分钟+6轮对话后首次触发)及结果查看方式。系统记忆存储于本地SQLite数据库和Markdown文件中,暂不支持多设备同步。关键文件路径涵盖启动器、配置管理、记忆系统和进化引擎等核心组件。非致命警告如pyautogu
小规模/自定义:FastAPI,灵活可控大规模/多模型:Triton,企业级方案LLM 专用:vLLM,吞吐量最高生产必备:Docker + 监控 + 负载均衡。
核心定位面向 LLM 的迭代式有状态有向图状态机。四大核心概念State:全局数据容器,靠 TypedDict + Reducer 做结构与合并规则;Node:业务执行单元(纯函数、无全局状态);Edge:流程控制线(普通边 = 串行,条件边 = 分支 / 循环);Graph:图容器,负责整体调度。底层核心机制节点执行 → 状态合并 → 路由跳转的无限迭代,直到遇见END;循环:条件边回跳上游节点
本项目基于RAG(检索增强生成)技术开发了一个智能客服系统,通过将本地知识库与通义千问大模型结合,解决了传统大语言模型在业务场景中的知识局限性问题。系统采用LangChain框架实现文档处理、向量检索和对话链路的编排,支持TXT/PDF/Word/Excel等多种文件格式的解析和向量化存储,使用Chroma作为本地向量数据库。项目具备知识库问答、多轮对话、流式输出等功能,并提供了Streamlit
RAG系统优化应聚焦检索环节:当前智能客服项目虽已实现基础RAG闭环,但检索质量直接影响最终回答效果。建议从12个方向优化检索链路,优先实施4项核心改造:1)规范配置命名(similarity_threshold→retrieval_top_k);2)优化上下文格式(结构化展示文档来源和内容);3)强化Prompt约束(要求模型严格基于资料回答);4)增加检索调试功能(可视化展示召回片段及分数)。
第一,async不是加速按钮。...这种 CPU 计算不会因为你加了async就变快。第二,await不代表并发。await a()await b()await c()这通常还是顺序执行。第三,async def里不要写阻塞代码。time . sleep() requests . get() 同步数据库查询重 CPU 循环这些都可能卡住事件循环。第四,任务并发要限流。数据量大时很危险。第五,多 w
她先是卡在“怎么把每次的提问包装成 API”,然后又纠结“返回的结果该用啥格式”,最后看着一堆手动拼的 JSON schema 叹了口气。都得装,一会儿我们要用它去异步调 Ollama 的 API,这时候就别用 requests 同步请求了,我喜欢把这事儿交给 Pydantic,比手写字典强一万倍——自动校验,还能直接喂给 Swagger。今天我们先把基础路走通,让“大厨”先能出餐,后面再加“工具
说到这里,咱们来划个重点。
本文介绍如何利用AI工具Claude Opus 4.8辅助整理遗留项目的交接文档。针对SpringBoot+MySQL+Redis项目的典型问题(配置过时、资料分散),作者提出分步骤处理方案:先整理项目依赖和启动条件,生成待确认问题清单,再基于已验证信息编写README初稿,最后沉淀常见问题排查流程。文章强调AI只应作为辅助工具,需人工验证所有关键配置,并提供了多模型协作建议和风险边界提醒,核心主
fastapi
——fastapi
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net