摘要：本文详细介绍了BERT模型的核心架构与应用。BERT由Embedding层（Token+Segment+Position）、双向Transformer编码器和预微调模块组成，通过Masked LM和Next Sentence Prediction两大预训练任务实现深度语义理解。文章对比了BERT与ELMo、GPT的差异，指出BERT在双向上下文理解上的优势。同时展示了BERT在句子分类、问答

本文介绍了两种调用DeepSeek大语言模型API的方式：1) 通过LangChain的ChatOpenAI封装实现，支持JSON格式返回和重试机制；2) 直接使用OpenAI客户端调用。文章重点展示了新闻分类任务的实现方案，包括提示词工程、模型预测封装和评估流程。通过构建包含10个新闻类别的分类系统，实现了从文本预处理、模型调用到性能评估的完整流程，评估指标包含准确率、精确率和F1分数。该方案采

本文系统梳理了语言模型的发展历程与评估方法。语言模型从早期的N-gram统计模型，到神经网络模型，再到基于Transformer的预训练模型（BERT、GPT、T5），最终发展为千亿参数的大语言模型（LLM）。评估指标包括困惑度（PPL）、BLEU、ROUGE等。当前主流LLM多采用Decoder-Only架构（如GPT），因其训练高效、推理优化且表达能力突出。三大架构中，BERT擅长理解，GPT

本文基于Ollama+Qwen2:0.5b本地模型，实现了三个NLP任务的Prompt工程实践。通过SystemPrompt明确模型角色、Few-shot示例提供标准答案、后处理容错机制，成功完成了文本分类、信息抽取和语义匹配任务。实验表明：1）Few-shot比长篇指令更有效；2）限制输出格式可减少模型"废话"；3）正则提取+标点替换+try-catch的后处理能显著提升稳定

本文介绍了一个基于多层RAG（检索增强生成）架构的问答系统项目。该系统采用模块化设计，包含基础模块（配置管理、日志系统）、数据层（MySQL数据库、Redis缓存）、检索模块（BM25和混合检索）以及RAG核心模块（文档处理、向量存储、策略选择等）。 核心功能包括： 支持多种文档格式（PDF/Word/PPT等）的加载和OCR处理 中文文本递归切分和语义切分 混合检索策略（直接检索/HyDE/子查

Coze（扣子）是字节跳动推出的AI智能体开发平台，定位为“字节版GPTs”，核心价值是零代码、可视化搭建AI智能体。平台提供插件库（搜索、天气、企查查等）、工作流（拖拽式编排）、知识库（RAG检索）、数据库（结构化存储）等核心功能，支持多模态（文生图、语音合成、视频生成）和Multi-Agent多智能体协作。用户通过配置提示词、添加工作流即可创建智能体，一键发布到飞书、微信、抖音等渠道。同时提供

本文系统介绍了大模型训练和推理的主流框架。训练方面重点解析了DeepSpeed框架，包括其核心技术ZeRO优化器（分阶段切分模型状态）、3D并行（数据/模型/流水线并行）以及梯度累积方法，并提供了ChatGLM-6B微调的实战代码示例。推理方面对比了7种框架，突出vLLM的PagedAttention技术和TGI的生产级稳定性，并给出选型指南：新手用Ollama、高并发选vLLM、生产环境用TGI

针对电力规程问答场景中通用大模型幻觉频发、大模型API响应超60秒、长尾问题覆盖不足等痛点，本文设计并实现了一套五级兜底架构的RAG问答系统。系统采用Redis缓存、BM25关键词、Milvus混合检索（稠密+稀疏）、千亿大模型API、人工座席五级逐层兜底，保证100%回答率。技术层面，通过bert-base-chinese微调实现94%准确率的意图分流，BGE-M3+Milvus保障语义与关键词

本文详细记录了从零实现基于GPT-2的中文医疗对话机器人的全过程。主要内容包括：1）数据处理阶段采用[CLS]Q[SEP]A[SEP]格式构建对话样本；2）模型训练策略使用梯度累积、学习率预热等技术；3）推理生成采用Top-K采样和重复惩罚机制；4）对话管理维护3轮历史上下文。项目实现了1.1亿参数的医疗对话模型，并提供了完整的Web部署方案。文章深入解析了GPT-2底层原理，分享了梯度累积、采样

本文介绍了两种调用DeepSeek大语言模型API的方式：1) 通过LangChain的ChatOpenAI封装实现，支持JSON格式返回和重试机制；2) 直接使用OpenAI客户端调用。文章重点展示了新闻分类任务的实现方案，包括提示词工程、模型预测封装和评估流程。通过构建包含10个新闻类别的分类系统，实现了从文本预处理、模型调用到性能评估的完整流程，评估指标包含准确率、精确率和F1分数。该方案采