
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
AI查询处理系统(Query改写技术)
模块化设计:每个组件职责单一、边界清晰,便于单独优化和灵活扩展LLM + 检索双引擎:将生成式模型的深度理解与检索系统的广度覆盖相结合,取长补短HyDE技术落地:通过“生成-检索”的创新模式,有效解决传统检索的语义鸿沟问题智能并行调度:基于依赖图的拓扑排序与并行执行,将复杂查询的响应时间从线性优化为对数级别生产级稳定性:缓存、重试、超时、降级四位一体,保障系统高可用本文介绍了一套基于LLM的智能查
linux系统使用vllm搭建本地模型详细教程
在 Linux 系统上使用 vLLM 搭建本地模型服务,是当前生产环境中非常主流的方案。相比于 Ollama,vLLM 通过 PagedAttention 等技术,在高并发场景下的吞吐量和显存管理上表现更优。以下是一份完整的实战指南,帮助你从零开始搭建。
到底了







