登录社区云，与社区用户共同成长
邀请您加入社区
Higress v2.2.3 版本发布，带来多项核心更新：新增 AI Gateway 的 vLLM 协议透传和上下文限制插件，增强 AI 安全防护与负载均衡；优化 Gateway API 隔离与推理路由配置；改进 Ingress 迁移体验；加固安全认证组件与 TLS 校验；修复多项 Console 问题。社区层面，Higress 正式入驻 CNCF Sandbox。
企业——在之上，专述等多实现的路由、限流、、缓存与可观测契约；并与对齐。：vLLM/KV/量化见；Agent 应用组件见；Guardrails 见。
文章摘要： JAiRouter v2.7.0发布，作为AI模型服务的统一网关，提供OpenAI兼容API、负载均衡、限流熔断等功能。本次更新重点包括：1) 架构微服务化重构，模块化提升开发效率；2) 新增实时监控Dashboard；3) 智能熔断器支持自适应阈值调整；4) 完整支持语音转文字(STT)功能；5) 测试覆盖率提升至32.2%。支持一键Docker部署，可对接Ollama、vLLM等多
今天分享一篇 **字节跳动·大模型应用算法(实习)** 的面经。整场聊了两个小时,从 Agent 的长短期记忆怎么设计,到 RAG 的每个环节为什么这么做,再到 asyncio、HyDE、SGLang vs vLLM,面试官一路追问到底,问得很细。这位同学把题目基本都还原出来了,我做了补充和校对,分享给正在准备大模型岗的你。
vllm加载lora
