logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

AI查询处理系统(Query改写技术)

模块化设计:每个组件职责单一、边界清晰,便于单独优化和灵活扩展LLM + 检索双引擎:将生成式模型的深度理解与检索系统的广度覆盖相结合,取长补短HyDE技术落地:通过“生成-检索”的创新模式,有效解决传统检索的语义鸿沟问题智能并行调度:基于依赖图的拓扑排序与并行执行,将复杂查询的响应时间从线性优化为对数级别生产级稳定性:缓存、重试、超时、降级四位一体,保障系统高可用本文介绍了一套基于LLM的智能查

#人工智能#python
linux系统使用vllm搭建本地模型详细教程

在 Linux 系统上使用 vLLM 搭建本地模型服务,是当前生产环境中非常主流的方案。相比于 Ollama,vLLM 通过 PagedAttention 等技术,在高并发场景下的吞吐量和显存管理上表现更优。以下是一份完整的实战指南,帮助你从零开始搭建。

#linux#运维
到底了