logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

DeepSeek-V4本地部署完全指南:从零打造专属大模型推理服务

DeepSeek-V4延续了前代混合专家(MoE)架构,总参数量约为236B,但每个token仅激活约21B参数,从而在保持极高推理效率的同时,大幅降低显存占用。官方提供了BF16原始权重和INT8/INT4量化版本,最低只需24GB显存即可运行。此外,模型原生支持128K上下文窗口,非常适合长文档理解、代码生成等场景。本地部署的优势包括:数据不出域、零网络延迟、完全可定制的生成策略、以及避免AP

#vLLM
Spring Boot 3.x核心特性深度解析:拥抱Java 17与云原生时代

创建UserClient接口,使用配置一个@Bean创建一个,注入UserClient// 创建一个观测,自动记录 metrics 和 tracingUserSpring Boot 3.x 并非简单的版本递进,而是 Spring 对云原生时代的全面拥抱。Java 17 基线让代码更加简洁高效;虚拟线程打破了同步阻塞的性能瓶颈;原生编译适应了 Serverless 和边缘计算场景;声明式 HTTP

#云原生
从零搭建智能文档中枢:基于大语言模型的文档自动处理与问答系统

文档索引(Indexing):将文档分割成合适大小的块,使用嵌入模型将每个块转换为向量,存入向量数据库。检索(Retrieval):用户提问时,同样将问题向量化,在向量库中搜索最相似的Top-K个文档块。生成(Generation):将检索到的文档块作为上下文,连同问题一起送入LLM,生成准确的回答。这样做的好处显而易见:LLM能基于企业私有数据回答问题,且答案可追溯来源,大幅降低幻觉。LangC

#RAG
C++20协程实战:从原理到高性能异步编程,手把手带你掌握co_await/co_yield

生成器展示的是“推”模型(生产者主动产出),而异步任务更多是“拉”模型(消费者等待结果)。C++协程通过co_await配合自定义的 Awaiter 可以优雅地实现异步调度。这里我们设计一个Task<T>类型,代表一个异步任务,可以co_await另一个Task来获取结果。再实现一个简易的“定时器 awaiter”,模拟异步延迟操作。// 简单事件循环(仅用于演示,生产环境请使用 boost::a

C++智能指针深度解析:从unique_ptr到weak_ptr的最佳实践,彻底告别内存泄漏

在现代C++开发中,手动管理动态内存已经成为一种过时且危险的实践。原始裸指针(raw pointer)无法清晰地表达所有权,极易导致内存泄漏、悬垂指针(dangling pointer)和重复释放等问题。C++11标准引入的智能指针完美地解决了这些痛点,它们利用RAII(Resource Acquisition Is Initialization)机制自动管理资源的生命周期,让代码更安全、更简洁。

Java Stream API进阶指南:5个高级技巧让你的代码更优雅

Collectors工具类内置了丰富的收集器,但有时业务需要自定义。实现接口可以精准控制收集过程。以下示例创建一个收集器,将整数按三个区间分组,并统计每个区间的平均值。// 使用自定义收集器System.out.println("区间平均值: " + rangeAverages);// 输出: 区间平均值: {0-10=6.25, 11-20=15.0, 21+=26.5}// 返回可变容器:按区

C++20新特性全面解析:从概念到协程,开启现代C++编程新纪元

C++20 带来的概念、范围、协程以及编译期能力的扩展,标志着 C++ 向更高抽象层次和更安全的方向迈出了一大步。概念让泛型代码的约束表达变得清晰且友好;范围库大幅简化了标准算法的使用,并通过视图提供了函数式的数据处理能力;协程为异步编程和生成器提供了语言级支持;增强的constexpr让编译期编程更加灵活。这些特性并非孤立存在,而是可以有机地结合在一起,构建出简洁、高效且易维护的现代 C++ 应

用Claude API构建智能助手:从入门到实战,5步打造专属AI应用

通过本文,你已经掌握了使用Claude API构建智能助手的核心步骤:- 配置Clients并理解Messages API;- 利用系统提示定义助手角色;- 实现流式多轮对话,维护历史上下文;- 初步了解工具调用扩展能力。Claude的100K上下文窗口意味着我们可以将整个项目文档、会议记录或者长篇书籍作为背景知识丢给助手,让它成为私人知识宝库的“对话界面”。结合向量数据库(如Chroma、Pin

深入浅出 DeepSeek 多轮对话系统设计:手把手打造智能聊天助手

本文从多轮对话系统的核心组成出发,带你完整体验了基于 DeepSeek 的对话系统设计全过程。我们实现了一个具备上下文管理、流式输出、自动裁剪等工程特性的聊天助手类,代码简洁、可直接集成到项目中。设计稳定的多轮对话系统,除了灵活选用强大模型外,更需要关注上下文生命周期记忆策略和异常处理这些工程细节。希望本文能为你打造更智能的对话应用提供一份实用的起点。进一步优化方向- 引入精确的 token 计数

#DeepSeek
    共 104 条
  • 1
  • 2
  • 3
  • 11
  • 请选择