logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

激活工程的艺术:如何像调音师一样精准操控Llama 2的行为

本文深入探讨了如何通过对比激活添加(CAA)技术精准操控Llama 2语言模型的行为,类似于调音师调整乐器音色。CAA技术通过引导向量在不改变模型权重的情况下实时干预模型输出,从严谨客观到富有创造力,实现多样化的风格控制。文章详细解析了CAA技术原理、实战演练步骤及高级应用技巧,为开发者提供了强大的模型行为调控工具。

#语言模型
DeepSeek V3.1技术解析:128K上下文窗口如何突破AI长文本处理瓶颈

本文深入解析了DeepSeek V3.1模型如何通过创新的注意力机制和内存管理技术,实现128K上下文窗口,从而突破AI长文本处理瓶颈。文章结合实测案例,展示了该技术在法律分析、代码审查、企业知识库等场景中带来的革命性生产力提升,并为开发者提供了最大化利用其超长上下文能力的实战指南。

#DeepSeek
从ViT到LLaMA全面实测:无归一化Transformer在五大任务中的表现究竟如何?

本文深度评测了无归一化Transformer在五大任务中的实战表现。研究提出用动态Tanh(DyT)替代传统LayerNorm/RMSNorm,在图像分类、语音识别、DNA建模、图像生成及大语言模型(LLaMA)训练中均实现了相当或更优的性能,同时带来约5%的训练推理加速,为Transformer架构设计提供了高效新思路。

vLLM实战:高效本地部署Qwen3混合推理模型的完整指南

本文提供了一份详细的vLLM实战指南,手把手教你如何在本地高效部署Qwen3混合推理模型。内容涵盖从环境准备、硬件要求、模型下载配置,到使用vLLM一行命令启动服务、性能测试与API调用,并分享了量化、批处理等高级优化技巧,帮助开发者快速上手并提升推理效率。

#vLLM
FastGPT+OneAPI实战:5步搭建企业级知识库问答系统(避坑指南)

本文详细介绍了如何利用FastGPT和OneAPI快速搭建企业级知识库问答系统,涵盖环境规划、组件部署、知识库建设、性能调优及功能扩展等关键步骤。通过开源方案实现商用级效果,显著降低推理成本,提升信息检索效率,特别适合法律、技术文档等专业场景应用。

揭秘grok-code-fast-1:专为“代理式编码”而生的新架构,如何重塑开发工作流?

本文深入解析了grok-code-fast-1这一专为'代理式编码'设计的新型代码生成模型。通过其创新的分层注意力机制和动态上下文窗口架构,该模型能够快速生成高质量代码,显著提升开发效率。文章详细介绍了如何将其集成到开发环境和CI/CD流水线中,并分享了实用的提示词工程技巧和真实案例,展示了其在现代编程工作流中的变革性影响。

本地部署大语言模型:llama.cpp与Dify对接全攻略

大语言模型(LLM)的本地部署是当前AI工程实践中的重要方向,它解决了数据隐私、成本控制和模型定制化的核心需求。其技术原理主要围绕模型量化与高效推理框架展开,通过降低模型参数的数值精度(如从FP16量化至4-bit),在可接受的精度损失内大幅减少对GPU显存和计算资源的需求。这一技术价值在于,使得在消费级硬件(如配备RTX 3090或高性能CPU的机器)上运行数十亿参数的大模型成为可能,极大地降低

AI Agent技能库:架构、集成与实战,破解LLM执行瓶颈

在AI Agent开发领域,如何让大语言模型(LLM)从“认知”走向“执行”是核心挑战。这涉及到将模型的自然语言理解能力与外部工具、API的实际操作相结合,从而跨越“知道”与“做到”之间的鸿沟。其技术原理在于通过一套标准化的接口协议,将各种功能封装成可被AI Agent动态发现、理解和调用的“技能”。这种技能化架构的核心价值在于实现了功能模块的复用与灵活编排,极大提升了开发效率,降低了工程门槛。应

AI Agent构建实战:从Hermes与Harness边界看智能体工程化

在人工智能领域,构建一个真正可用的AI智能体(AI Agent)远不止是选择一个强大的大语言模型(LLM)。其核心在于理解并协调两大关键层面:作为“器”的Hermes与作为“道”的Harness。Hermes指的是智能体的原子能力单元,例如大语言模型的理解与生成、工具调用、规划与记忆等,它们决定了智能体能力的上限。而Harness则是一套驾驭这些能力的系统工程,包括流程编排、安全护栏、评估优化与可

Codex与CC Switch协作指南:构建高效AI开发工作流

在AI应用开发中,API代理与路由管理是构建稳定服务架构的基础技术。其核心原理是通过中间层对AI服务请求进行统一调度、协议转换与安全管控,实现客户端与后端服务的解耦。这一技术价值在于提升系统的灵活性、安全性与可维护性,尤其适用于需要集成多模型服务、管理敏感密钥或实现负载均衡的场景。本文聚焦于Codex与CC Switch的协作,深入解析两者定位:Codex作为AI模型服务端点提供核心能力,而CC

    共 33 条
  • 1
  • 2
  • 3
  • 4
  • 请选择