logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LangChain+RAG:大模型应用开发实战教程,附环境配置到推理全过程

文章详细介绍了如何使用LangChain框架构建RAG(检索增强生成)系统。从环境准备、DeepSeek模型调用、文档加载分割,到文本嵌入向量化存储、重排处理、提示词设计、链构建及推理全过程。结合阿里云百炼嵌入模型、FAISS向量数据库和BAAI重排模型,实现了完整的大模型应用开发流程,为开发者提供了一套实用的技术方案。

文章图片
#知识图谱#语言模型#人工智能
一文搞懂大模型推理:Prefill与Decode的分工、原理与性能优化!

大语言模型推理分为Prefill和Decode两个阶段。Prefill阶段并行处理输入prompt,通过自注意力机制和KV Cache构建理解基础,是计算密集型阶段;Decode阶段串行生成输出,复用KV Cache逐步预测下一个token,是内存带宽密集型阶段。这种分工设计基于输入输出特性的根本差异,通过针对性优化各自性能瓶颈,实现了推理效率的最大化。

文章图片
#性能优化#自动化#人工智能 +1
27岁Python独立开发者,年收入超900万,过着令人羡慕的生活

赖利蔡斯,27岁的Python程序员,现在拥有一家自己的小型软件公司。

文章图片
#python#开发语言
大模型推理部署指南:10+主流框架/引擎对比与实战应用!

本文介绍了大模型推理引擎与框架的区别,以及10+主流大模型推理工具/引擎/框架,包括LM Studio、llama.cpp、Ollama、vLLM、SGLang等。根据用户类型和使用场景将工具分为三类:普通用户、个人开发者和企业用户,详细分析了各类工具的特点、技术优势及适用场景,帮助读者根据自身需求选择合适的推理框架,实现大模型的高效部署与应用。

文章图片
#开发语言#人工智能#深度学习 +2
普通人如何在AI时代,抓住这波红利,大模型学习从入门到精通,建议收藏!

文章提出AI时代普通人抓住红利的三个步骤:首先从工作场景出发,使用AI工具提升时间价值;其次打破专业壁垒,借助AI工具拓展能力边界;最后成为超级个体,结合AI与个人IP成立一人公司。强调AI是用出来的而非学出来的,专业技能与AI工具结合才能发挥最大价值,持续学习才是AI时代的核心竞争力。对程序员和小白而言,AI是当下值得把握的确定性机会。

文章图片
#人工智能#深度学习#产品经理 +1
Ollama与vLLM:大模型本地部署与高效推理全攻略!

本文对比了两种大模型部署工具:Ollama和vLLM。Ollama基于Go语言,采用"开箱即用"理念,适合个人开发者,通过容器化封装简化模型运行。vLLM基于PyTorch,创新引入PagedAttention技术解决显存效率与吞吐量瓶颈,支持张量并行和流水线并行,可横向扩展至多机多卡集群,适合生产环境。文章提供了两种工具的安装和使用示例,帮助开发者选择合适的部署方案。

文章图片
#人工智能#深度学习#transformer +1
LLM推理引擎全景解析:从Transformers到vLLM的技术演进与工程选型指南!

本文深入解析LLM推理引擎技术演进,涵盖Transformers动态图机制、llama.cpp量化优化、vLLM分页内存管理等核心技术。通过操作系统类比方式,清晰呈现各引擎特点与适用场景,为个人开发者、企业服务、受限硬件和国产化需求提供精准选型指南,助力大模型工程落地。

文章图片
#人工智能#开源#java +1
2026大模型学习指南:从入门到精通,收藏这份104G资源包,抢占AI红利!_大模型岗位薪资爆了

文章介绍了2024年大模型热潮下,国内科技巨头积极布局,AI人才缺口巨大导致薪资飙升。针对程序员群体,文章强调学习大模型技术的重要性,提供了从提示词工程到微调开发的七个学习阶段,并附有104G学习资源包。掌握大模型技术不仅能提升个人竞争力,还能抓住AI时代红利,实现职业转型和增收。

文章图片
#人工智能#学习#知识图谱
PaddleOCR-VL-1.5大模型升级:多边形标注突破形变文档解析极限

PaddleOCR-VL-1.5版实现重大升级,采用多边形标注替代矩形标注,显著提升弯曲、倾斜等形变文档解析能力。新增文本检测与印章识别功能,增强生僻字、古籍文本、多语言表格识别性能,支持跨页表格合并与段落标题识别。模型扩展语言支持至藏文和孟加拉语,在五类真实场景评测中表现优于主流模型,为复杂文档解析提供强大解决方案。

文章图片
#人工智能#语言模型
零开始构建企业级RAG应用:Dify与LangChain v1.0集成实战指南(含代码+收藏必备)

本文详细介绍了Dify与LangChain v1.0集成构建企业级RAG应用的完整流程。主要内容包括:Dify的可视化工作流、模型网关和RAG引擎等核心功能;LangChain v1.0的统一Agent抽象、中间件机制等新特性;以及从环境配置到API调用的具体实现步骤。通过企业知识库问答系统案例,展示了混合检索策略、会话上下文保持等关键技术,为开发者提供了一套完整的解决方案。

文章图片
#人工智能#语言模型#RAG
    共 1205 条
  • 1
  • 2
  • 3
  • 121
  • 请选择