logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【万字长文】大型语言模型(LLM)完整指南:从训练、部署到优化的全方位解析!!大模型训练|大模型部署|大模型优化

本文是一份大型语言模型(LLM)的全面指南,系统介绍了LLM从训练到部署的全过程。内容涵盖数据准备、模型选择、超参数调优、微调技术、评估测试、部署策略及优化方法。文章还讨论了LLM面临的挑战,如偏见问题、隐私安全及道德考量,并提供了实用的工具和库。通过阅读本文,读者可以掌握构建和优化高质量LLM的关键技能,适用于各种自然语言处理任务。

文章图片
#语言模型#人工智能#自然语言处理 +2
大模型部署工具系统梳理:技术栈全解析,开发者必看指南!大模型部署

本文系统梳理了大模型部署的五层架构:硬件抽象层(各类GPU芯片)、深度学习框架(PyTorch/TensorFlow等)、专用推理引擎(vLLM/llama.cpp等)、模型服务工具(Ollama/LM Studio等)和模型分发平台(Hugging Face/ModelScope)。详细分析了各层主流工具的特点、适用场景和选择建议,帮助开发者理解大模型部署全景生态,根据需求选择合适技术组合,降低

文章图片
#大数据#算法#人工智能 +1
为什么Ollama成为大模型部署标准?从架构到性能的全方位技术解析,值得收藏学习!

文章分析了Ollama成为本地大模型部署标准的原因,从架构(Go+C++)、性能(量化策略、内存管理)和生态(API兼容、Modelfile)三个维度进行了技术解剖。Ollama通过工程化设计和系统优化,将本地LLM推理从"极客行为"变为可靠技术组件。但它在高并发场景下存在性能瓶颈,相比vLLM在显存利用率和吞吐量方面有明显差距,更适合本地单机和小规模应用场景。

文章图片
#架构#学习#人工智能 +1
大模型部署实战:从序列化到Docker与FastAPI,掌握MLOps核心技巧!

文章介绍了机器学习模型部署的完整流程,包括模型序列化格式选择(Pickle、Joblib、ONNX等)、Docker容器化部署、使用FastAPI构建预测服务,以及批量与实时推理的部署策略。不同序列化格式各有优缺点,需根据框架和部署需求选择;容器化确保环境一致性;FastAPI提供高性能API服务;实时推理注重低延迟,批量推理则追求吞吐量。这些技术构成了现代MLOps中模型部署的核心实践。

文章图片
#docker#fastapi#人工智能 +1
一文读懂具身智能、智能机器人与人形机器人的技术关系!

具身智能是AI前沿分支,指智能体通过物理实体与环境交互,实现感知、认知、决策和行动一体化。智能机器人和人形机器人都是具身智能的分支,后者是前者的最高形态。人形机器人目前正从实验室向工业/商业领域落地,预计2030年左右可能进入家庭场景,但大规模应用仍需10年左右时间,需要解决操作效能、安全与成本问题。

文章图片
#数据库#运维#RAG
大语言模型部署困局?这5大爆款引擎技术,让你效率翻倍、成本骤降!

大模型推理引擎的五大关键技术 摘要:本文分析了部署大语言模型面临的独特挑战,并介绍了五种核心优化技术:1)连续批处理技术解决输入输出长度不固定的问题;2)预填充-解码分离策略优化两阶段推理资源分配;3)分页注意力机制减少KV缓存内存碎片;4)前缀感知路由实现缓存复用;5)专家并行化策略支持混合专家模型。这些技术通过动态内存管理、智能调度算法和网络路由优化,显著提升了推理效率和吞吐量,是降低AI成本

文章图片
#语言模型#人工智能#学习
从零到精通:7步解锁人工智能大模型开发全栈技能!

本文系统介绍了人工智能大模型学习的7个阶段路线图:从数学编程基础、机器学习入门到深度学习进阶,再到NLP和大模型核心技术(Transformer与预训练),最后到大模型应用实战与持续进阶。每个阶段都详细列出了核心学习内容和关键技术点,如数学三件套、PyTorch框架、注意力机制等。文章还提供了学习资源获取方式,强调AI时代"先掌握者得优势"的理念,为读者规划了一条从0基础到项目

文章图片
#人工智能
智能体持久性记忆实战:从0到1构建双路记忆堆栈

本文提出了一种为智能体构建持久性记忆系统的创新方法,通过双路记忆堆栈(情节记忆+语义记忆)解决智能体健忘问题。情节记忆使用向量数据库存储对话历史,语义记忆通过图数据库管理结构化事实。文章详细阐述了系统架构、实现方法及代码构建,展示了智能体如何通过记忆增强实现个性化交互,从"工具"向"伴侣"转变。该系统模仿人类记忆分层机制,采用"交互-检索-生成-编

文章图片
#人工智能#产品经理
构建智能体记忆系统的完整指南,向量存储与知识图谱对比分析!

本文探讨为智能体设计记忆机制的方法,解决大语言模型"无状态"的局限性。文章分析长期记忆组织方式(小型事实与长跨度对话记忆),比较向量存储与知识图谱架构优劣,介绍主流解决方案(Zep、Mem0、Letta)。同时讨论实现成本与注意事项,为开发者提供构建高效记忆系统的实用指南,帮助大模型实现长期交互和持续学习能力。

文章图片
#知识图谱#人工智能#AI
【万字长文】11大主流AI智能体通信协议深度解析:构建未来无边界、自进化的智能协作网络!

文章摘要: 随着AI从工具演化为自主决策的智能体(Agent),智能体网络作为新互联网架构逐渐成形,其核心在于构建高效、可扩展的通信协议。本文解析三大主流协议: MCP协议:由Anthropic开发,标准化AI与外部工具的交互,采用JSON-RPC 2.0格式,支持客户端-服务端动态协作。 A2A协议:谷歌开源的首个智能体间通信标准,通过“智能体卡片”实现能力发现,支持多模态协作与任务全生命周期管

文章图片
#人工智能#github#机器学习 +1
    共 2580 条
  • 1
  • 2
  • 3
  • 258
  • 请选择