
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
前段时间在波兰做 AI 工作坊,我问了在场的开发者一个问题,知道 Token 是什么的请举手。结果让我挺意外,一百多人的会场,只有三分之一的人举手。这些人每天都在用 LLM 写代码、做产品,但对最基础的计费单位竟然一知半解。就好比你天天开车却不知道油表怎么看,迟早要出问题。今天咱们就把 Token 这件事彻底说清楚。

《微调还是通用?大模型时代的技术选择》摘要: 随着通用大模型能力的快速提升,曾经有效的微调技术正面临挑战。文章指出,2023年微调模型还能领先,但到2025年已被通用模型全面超越,主要归因于三个因素:上下文窗口扩大(支持百万级token)、推理模型出现(动态思考优于静态记忆)、推理成本持续下降。作者提出不触碰模型权重的替代方案:RAG(检索增强生成)、上下文工程和智能体技能,构成完整的定制化技术栈

摘要 Mcp Server是AI领域的重要中间件,作为大模型与外部工具的桥梁,通过标准化协议实现AI与各类工具的交互。开发Mcp Server需要准备Python或Java环境,安装MCP SDK等核心依赖包。其核心功能包括Resources(提供静态数据)、Prompts(定制模型响应)和Tools(执行外部操作)。开发过程需遵循MCP协议规范,通过初始化项目、配置依赖、编写核心逻辑等步骤实现。
摘要 本文系统介绍了设计高效AI提示词(Prompt)的8大黄金法则,旨在帮助开发者提升AI应用的准确率和实用性。这些法则包括:明确任务目标、精准角色设定、丰富上下文信息、结构化输入、控制输出格式、示例引导、设置约束条件以及持续优化迭代。文章通过具体应用场景如文本分类、图像生成、法律咨询、数据分析等,详细阐述了如何运用这些法则优化AI交互效果。掌握这些Prompt设计技巧,能够显著提升AI系统生成

AI智能体爆发元年:上下文工程如何成为架构落地的关键技术 2025年被称为"AI智能体元年",随着大模型技术的成熟,AI智能体从理论走向广泛应用。本文深入解析了AI智能体的发展历程和核心技术: 概念演进:从依赖提示词的初级LLM Agent,到具备规划、记忆和工具使用能力的AI Agent,再到多智能体协作的Muti Agent架构。 核心技术:上下文工程作为AI智能体的&qu

多模态大模型(MM-LLMs)是结合大型语言模型(LLMs)与多模态数据处理能力的AI系统。它通过模态编码器处理文本、图像、音频等不同输入,经输入投影器映射到统一语义空间,由LLMs核心处理,再通过输出投影器转换为目标模态,最后由模态生成器(如Stable Diffusion)生成多模态输出。这种架构实现了跨模态的理解与生成能力,在智能助理、内容创作等领域有广泛应用前景。

本文介绍了如何在FastAPI中部署调用DeepSeek-R1-Distill-Qwen-7B大模型。主要内容包括:环境准备(Ubuntu 22.04、Python 3.12、CUDA 12.1等)、模型下载(使用modelscope库)、代码实现(基于FastAPI构建API服务,包含文本处理、模型加载和推理逻辑)以及API部署测试。文章提供了详细的代码注释和调用示例,支持通过curl或Pyth

本文介绍了使用LoRA方法对DeepSeek-7B-chat模型进行微调的过程。主要包括:1)环境配置和依赖库安装;2)指令集构建方法,以Chat-甄嬛项目为例说明个性化指令设计;3)数据处理流程,包括文本编码和格式化;4)模型加载和LoRA参数设置;5)训练参数配置;6)使用Trainer进行训练;7)模型推理示例。教程提供了完整的Jupyter notebook文件和相关数据集,适合开发者学习

本文介绍了使用vLLM框架部署和调用DeepSeek-R1-Distill-Qwen-7B模型的方法。vLLM是一个高效的大语言模型推理系统,具有内存管理优化、高吞吐量和易用性等特点。文章提供了环境准备步骤(Ubuntu 22.04+Python 3.12+CUDA 12.1),模型下载方法(通过ModelScope),以及核心调用代码示例。代码展示了如何初始化vLLM引擎、设置采样参数,并处理模

RAG系统评估框架:核心指标与实战指南 检索增强生成(RAG)系统的评估聚焦检索器和生成器两大组件,需基于输入问题、生成答案、上下文与参考答案四要素展开。评估指标分为检索质量(上下文相关性、精度、召回率)和响应质量(忠实度、答案相关性)两个维度,其中忠实度确保答案基于上下文,答案相关性则检查回答针对性。评估方法含人工评估(精准但低效)和自动化评估(高效且可扩展)两种方式,推荐工具包括Ragas(专








