logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LoRA QLoRA DPO区别

LoRA、QLoRA 和 DPO 各自聚焦不同环节和需求,从参数高效微调、显存压缩到输出偏好优化,形成了大模型微调领域的多样化工具链。根据实际业务目标和资源限制,灵活选用或组合这些技术,能够实现更高效、更精准的大模型应用落地。以上内容若需继续深入代码细节或使用案例,可进一步展开。

#人工智能#机器学习#深度学习
vLLM 原理与功能详解

vLLM 以高效、灵活和现代化的推理架构为核心,通过动态内存调度、异步 batch 执行和 Flash 解码等机制,大幅提升了大语言模型推理部署的效率和灵活度。上层 Web 框架:FastAPI / Flask模型与权重管理:Hugging Face Transformers + PEFT多实例负载均衡:Nginx / Envoy容器与部署:Docker / Kubernetes监控与告警:Pro

人工智能-基于vLLM与Hugging Face构建的自动语音问答系统

语音识别模块(ASR):将用户语音转为文本;问答生成模块(LLM Inference):基于文本问题调用语言模型生成回答;文本转语音模块(TTS,选配):将回答转为语音反馈;推理加速与服务:采用 vLLM 提供高并发、低延迟的推理后端;接口服务与交互控制:以 FastAPI 提供 REST/WebSocket 接口,并通过异步任务调度实现流式输入输出;监控与日志系统:用于服务可观测性和问题溯源。每

#人工智能
langchain

LangChain是一个流行的语言模型应用框架,通过链式调用思想将多个功能模块串联,实现复杂任务的自动化处理。其核心模块包括:LLM接口层统一调用不同语言模型;Chain模块编排任务流程;Prompt模块管理动态提示词;Memory模块维护上下文记忆;Tool模块扩展外部功能调用;Agent模块集成模型推理和工具决策。这些模块协同工作,支持从简单问答到复杂业务场景的灵活适配。LangChain采用

AIOps实战指南

AIOps代表了运维工作的未来形态,但成功实施需要扎实的基础和清晰的路线图。核心在于构建数据驱动的决策体系,而非简单堆砌AI技术。随着实践的深入,可逐步探索以下进阶方向:•多模态学习:结合指标、日志、追踪等多种数据类型•强化学习:让系统通过反馈不断优化决策策略•因果推理:超越相关性,理解系统行为的因果机制•知识图谱:积累和复用运维经验通过持续迭代和优化,AIOps能真正实现从"人工救火"到"智能预

#devops
到底了