logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【大模型应用开发】LLM 到底是什么,以及它是怎么训练的

本课介绍大语言模型 LLM 的基础概念与完整训练流程。LLM 本质是基于 Transformer 架构,通过自回归方式逐个预测 token 的概率生成文本。文中梳理了 LLM 发展历程,列举写作、编程、Agent 调用等十大应用场景。模型训练分为预训练、监督微调 SFT、人类反馈强化学习 RLHF/DPO 三阶段:预训练学习海量文本形成基础能力,SFT 教会模型遵循指令对话,RLHF/DPO 依靠

文章图片
#人工智能#LoRA
【大模型应用开发】Token 与分词器 —— 模型是怎么“看“文字的

本课讲解 Token 与分词器原理,Token 是大模型处理文本的最小单元,文字会被切分后转换为数字编号供模型读取。主流 BPE 分词算法通过高频片段合并,兼顾词汇表规模与生词处理能力,此外还有 WordPiece、SentencePiece 等分词方案。中文因无天然分隔,同等语义会消耗更多 Token,直接影响接口计费与上下文窗口。文中介绍 tiktoken 工具实现 Token 统计与文本截断

文章图片
#java#人工智能
【大模型应用开发】采样与生成参数详解 —— temperature、top-p、top-k 怎么调?

本课讲解大模型关键生成采样参数。LLM 输出并非查询标准答案,而是依据概率分布挑选 token。temperature 如同调节旋钮,控制输出的确定性与创造性;top‑k 按固定数量筛选候选词,top‑p 基于累计概率动态截断候选集合。另外存在频率、存在惩罚参数,用于缓解模型内容重复问题。文中附带简易 Python 采样模拟代码,同时给出不同业务场景的参数配置参考,提醒避免多参数盲目同时调整,帮助

文章图片
#人工智能
【大模型应用开发】幻觉问题 —— 为什么 LLM 会一本正经地胡说八道?

本课讲解大模型幻觉问题,幻觉指模型输出语句通顺自信,但事实虚假的现象。根源在于 LLM 以预测下一个 token 为目标,并非专门查证事实,还受知识截止、训练数据失真影响,分为事实型、逻辑型、指令型三类幻觉。文中介绍 Prompt 层面的优化技巧,同时介绍 RAG 检索增强、工具调用、结果校验等工程方案,区分幻觉与创意生成。提醒医疗、法律等高风险场景不能裸答模型,应当补充资料、接入工具并做好人工复

文章图片
#人工智能
【大模型应用开发】Embedding 与词向量 —— 从 One-Hot 到语义空间

本课介绍 Embedding 词向量技术。Token 编号仅代表标识,无法表达语义,One‑Hot 编码存在维度爆炸、无语义关联的缺陷。Embedding 将词语映射为稠密向量,语义相近的词向量距离更近。Word2Vec 依据上下文学习词的含义,通常使用余弦相似度衡量向量之间语义远近。现代 Embedding 模型可直接生成句子、文档向量,广泛应用于语义搜索、RAG 知识库问答、文本聚类、内容去重

文章图片
#人工智能
【大模型应用开发】Transformer 架构详解 —— 大模型的“心脏“

本课详解大模型核心 Transformer 架构。传统 RNN 存在长距离遗忘、无法并行、梯度消失三大缺陷,Transformer 依靠自注意力机制实现全部词并行处理。课程梳理完整执行流程,介绍多头注意力、FFN 前馈网络、残差连接、LayerNorm 等关键组件。当前主流大模型均采用 Decoder‑Only 结构,依靠因果掩码防止偷看后续 token。文中以 Llama‑7B 举例拆解参数分布

文章图片
#transformer#深度学习#人工智能 +1
【大模型应用开发】自注意力机制深讲 —— Q/K/V详解

本课深入讲解 Transformer 的自注意力机制,用图书馆查资料类比解释 Q 查询、K 键、V 值的含义。介绍注意力完整计算流程,说明除以√d 缩放的作用。多头注意力通过多组视角捕捉多种语义关系。同时指出注意力计算复杂度为 O (n²),长文本开销巨大,也提及热力图可直观观察模型关注的词语。

文章图片
#人工智能
神秘模型 Ox Alpha:免费、百万上下文、“牛来“了、使用教程

Ox‑Alpha,国内网友戏称 “牛来”,是 OpenRouter 平台突然上线的匿名隐身模型。无官方发布公告,上线即登顶平台榜单,创下流量新高。它拥有**100 万 token 上下文、128K 最大输出**,支持图文视频输入,代码与 Agent 能力表现亮眼,预览阶段完全免费。社区多方线索推测其或为智谱未公开的 GLM‑5.x 变体,但并未得到官方证实。可通过 OpenRouter API 接

文章图片
#网络
DeepSeek Harness 插件开发指南——美化界面、提升效率、自动化,还能让 AI 自研插件

本文将从插件快速安装 → 界面美化 → 生产力工具插件 → 自动化拓展 → 高阶创造模式,完整梳理 DeepSeek Harness 插件实用玩法,带你搭建属于自己的精装 AI 工作台。

文章图片
#自动化#人工智能#运维
【AI应用开发】 Agent篇(五):多 Agent 协作与生产落地

现实世界的复杂任务往往需要多个专业 Agent 分工协作——就像公司里有工程师、设计师、产品经理,各司其职又互相配合。同时,从 Demo 到生产上线有巨大的鸿沟:部署、监控、评估、成本控制、安全防护……每一个环节处理不好,Agent 就无法真正服务用户。本文串联多 Agent 协作架构和生产落地关键要点,给整个系列画上完整的工程闭环。

文章图片
#人工智能#RAG
    共 31 条
  • 1
  • 2
  • 3
  • 4
  • 请选择