logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从零构建企业级问答系统:FastGPT+PostgreSQL+MongoDB架构实战

本文详细介绍了如何从零构建企业级问答系统,采用FastGPT+PostgreSQL+MongoDB混合架构,解决电商行业面临的数据异构性、响应实时性和答案精准度等挑战。通过PG Vector插件实现高效向量检索,结合MongoDB处理非结构化数据,构建完整的智能问答解决方案,显著提升客服效率和用户体验。

DeepSeek V3时代:MoE架构下的高效LLM推理优化实践

本文深入探讨了在DeepSeek V3引领的MoE架构时代,如何高效进行LLM推理优化的实战经验。文章聚焦于MoE架构的核心机制,如细粒度专家划分与动态路由,并详细解析了PD分离架构、并行策略调配、通信计算重叠等关键优化技术,旨在帮助开发者解决大规模MoE模型部署中的负载均衡、通信开销等核心挑战,提升推理性能与资源利用率。

#DeepSeek
Qwen2.5-Omni 实战指南:从参数选择到多模态应用开发全流程

本文提供Qwen2.5-Omni多模态大模型从零到一的实战指南。详细解析了0.5B、1.8B、7B、72B等不同参数版本的能力差异与硬件选择策略,指导开发者根据需求在消费级显卡或云端进行高效部署。文章还涵盖了图像理解、音视频处理等应用开发实例,并分享了利用QLoRA进行模型微调以及性能优化的实用技巧,旨在帮助开发者快速上手并构建自己的多模态AI应用。

#多模态
【LLMs篇】Qwen全系列模型架构与优化技术深度解析

本文深度解析了Qwen全系列大语言模型的架构演进与核心技术。从基础Transformer解码器出发,详细剖析了其针对中文优化的超大规模分词器、旋转位置编码、SwiGLU激活函数等核心架构创新。文章进一步探讨了模型从海量预训练到人类偏好对齐的训练方法论,并重点介绍了FlashAttention、Q-LoRA、模型量化等关键效率优化技术,使其在开源社区中展现出强大的竞争力。

从单机到集群:基于SGLang的DeepSeek-R1私有化部署实战

本文详细介绍了基于SGLang推理框架进行DeepSeek-R1大模型私有化部署的完整实战流程。内容涵盖从单机环境搭建到多节点集群部署的详细步骤,重点解析了硬件规划、Docker与Conda两种部署方式、性能测试方法以及生产环境调优考量,旨在帮助企业解决数据安全、高并发与成本控制等核心诉求。

AI编程助手Prometheus:从架构解析到本地部署的工程实践

AI Agent作为人工智能领域的重要分支,其核心原理在于通过大语言模型(LLM)作为决策中枢,结合可执行技能与环境交互,实现任务的自动化处理。这一技术为软件工程领域带来了显著价值,能够将自然语言指令转化为具体的开发动作,从而提升研发效能。其典型应用场景包括项目脚手架搭建、代码生成与重构、自动化测试编写等。本文聚焦于Prometheus这一专为软件工程设计的AI副驾驶,它通过深度项目感知和多模态动

OpenClaw AI智能体生产环境部署实战:从Docker容器化到飞书集成

大语言模型(LLM)作为当前人工智能的核心技术,通过其强大的自然语言理解和生成能力,正在深刻改变软件交互与自动化流程的构建方式。其原理基于Transformer架构的海量参数预训练,使模型能够学习并泛化复杂的语言模式与任务逻辑。这一技术价值在于,开发者无需从头训练专用模型,即可通过提示工程与工具调用,快速构建具备专业能力的AI应用。在实际应用场景中,将LLM与业务系统、API工具链结合,可落地为智

#AI智能体
零代码构建AI自动化飞书机器人:OpenClaw与Coze平台实践指南

AI自动化正通过智能体技术重塑工作流程,其核心原理是让AI模型理解自然语言指令并操作数字界面。这项技术的价值在于将人类从重复性、规则明确的计算机操作中解放出来,实现业务流程的自动化。在工程实践中,RPA(机器人流程自动化)与多模态大模型结合,使AI不仅能执行预设脚本,更能“看懂”屏幕并智能决策。应用场景广泛覆盖数据整理、报表生成、信息收集等日常办公任务。本文聚焦于利用OpenClaw这一开源AI智

TokTier:为AI智能体与vLLM推理引擎引入有状态分词缓存,显著降低延迟

在自然语言处理与大型语言模型应用中,分词(Tokenization)是将文本转换为模型可处理token序列的基础预处理步骤。其原理是通过分词器将字符串切分为子词或单词单元,这一过程通常是CPU密集型操作。在AI智能体、多轮对话等需要频繁拼接长上下文的场景中,重复对系统提示词、历史对话等静态文本进行分词,会带来显著的计算冗余与延迟开销,成为影响服务响应速度的瓶颈之一。TokTier的技术价值在于,它

Claude Fable 5全面解析:从代码生成到复杂推理的AI协作者实战指南

大语言模型作为人工智能领域的核心技术,通过海量数据训练和Transformer架构,实现了对自然语言的深度理解和生成。其核心原理在于自注意力机制和预训练-微调范式,能够捕捉文本中的复杂语义关系。这一技术价值在于显著提升了人机交互的效率和智能化水平,广泛应用于代码生成、技术写作、数据分析等工程实践场景。以Claude Fable 5为例,该模型在代码能力上实现了从助手到协作者的质变,支持项目级代码生

    共 147 条
  • 1
  • 2
  • 3
  • 15
  • 请选择