logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

企业级大模型推理网关设计:混合部署与高可靠通信机制详解

本文详细介绍了企业级大模型推理网关的设计方案,重点解决多模型混合部署和高可靠通信问题。系统采用Controller-Worker主从架构,支持在线商业模型和离线开源模型混合部署,通过敏感路由、降本路由和能力路由策略实现智能调度。核心创新在于异步回调存储机制,由Worker直接完成数据持久化,确保即使在网络中断情况下也能保证数据一致性。同时,通过协议清洗实现统一流式响应接口,简化前端开发。该架构有效

#人工智能#python#后端
Web架构解剖学:从 Vue 到 Spring Boot 再到 K8s 的全链路深度解析

本文深入解析现代Web全链路架构,从开发环境到生产环境的差异出发,揭示前后端分离架构中的核心组件及其作用。开发环境中,前端依赖Node.js开发服务器,后端使用内置Tomcat容器;而生产环境需要Nginx托管前端静态资源并解决SPA路由问题,同时作为反向代理连接后端服务。后端Nginx则负责动静分离、负载均衡等关键任务。文章通过架构图和配置示例,清晰展示了各组件如何协同工作,帮助开发者理解从代码

#架构#后端#分布式
角色扮演大模型(RP-LLM)的深度技术剖析与演进

本报告深入解构了角色扮演大模型(RP-LLM)从通用模型中分化出的技术路径。不同于追求效率的“助手”模型,RP-LLM 旨在构建具备“拟人化”与“沉浸感”的数字生命。本文涵盖本体论基础、数据炼金术、认知架构设计及高性能推理工程,结合网易、Baichuan、Stanford 等前沿案例,绘制了一幅从“文本生成”到“硅基生命”的演进全景图。

#人工智能#架构
【大模型基础】第一阶段:初识大语言模型

本章介绍**:带你穿越NLP发展史,理解为什么我们需要大语言模型,以及它们如何从"词袋"进化到"大脑"。

#语言模型#人工智能#自然语言处理 +2
【大模型基础】第二阶段:从提示工程到上下文工程

摘要 随着大模型上下文窗口从4K扩展到百万级token,提示工程正演变为上下文工程。文章系统介绍了与模型对话的技术演进:从基础提示词设计(角色设定、指令明确、上下文提供、输出规范),到核心技巧(Zero-shot/Few-shot学习),再到长窗口时代的上下文工程(Many-shot学习、提示缓存)。同时探讨了高级技术如思维链推理(CoT)、ReAct模式,以及自动化提示编程工具DSPy。最后提供

#python#人工智能#算法 +2
【大模型基础】第三阶段:分词与嵌入 (Tokenization & Embedding)

摘要 本文深入探讨了大型语言模型(LLM)处理文本的两大核心技术:分词(Tokenization)与嵌入(Embedding)。分词部分详细比较了字符级、词级和子词级三种分词方案,重点分析了BPE、WordPiece和SentencePiece三种主流分词算法的原理及优劣。嵌入部分则阐述了如何将分词结果转化为高维向量表示,并介绍了嵌入空间的几何特性。文章还包含代码实战环节,演示了使用TikToke

#算法#语言模型#人工智能
【大模型应用开发】第二阶段:语义理解应用:文本分类与聚类 (Text Classification & Clustering)

本文系统介绍了文本分类与聚类的技术体系,重点探讨了判别式AI与生成式AI的差异、Embedding模型的选择与可视化方法、零样本/少样本分类技术、聚类算法比较以及BERTopic等实战应用。内容涵盖从基础理论到生产部署的全流程,特别强调在2025年技术环境下,如何结合传统方法与LLM技术构建高效文本处理系统。通过代码示例展示了t-SNE/UMAP可视化、SetFit框架、LoRA微调等关键技术实现

#分类#聚类#人工智能
【大模型应用开发】第一阶段:提示工程与上下文学习 (Prompt Engineering & ICL)

上下文学习本质上是一种无需梯度更新的元学习。本章将深入探讨如何在不更新模型参数的情况下,通过提示工程(Prompt Engineering)和上下文学习(In-Context Learning)激发大模型的潜能,构建复杂的应用系统。

#语言模型#人工智能#自然语言处理 +2
【大模型应用开发】第三阶段:深度解析检索增强生成(RAG)原理

本文系统介绍了检索增强生成(RAG)技术,重点解析其核心原理与实现架构。RAG通过整合外部知识库解决大模型的知识过时、私域知识缺失和幻觉问题,具有知识可更新、可溯源等优势。文章详细阐述了RAG标准流程的四大环节:文档分块(包括固定长度、递归和语义分块策略)、向量化、向量存储检索和重排序生成。通过LlamaIndex伪代码示例展示了完整实现过程,并比较了不同分块方法的优缺点。该技术无需重新训练模型即

#transformer#深度学习#人工智能 +2
    共 98 条
  • 1
  • 2
  • 3
  • 10
  • 请选择