logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

开源大模型本地部署硬件选型深度指南

8× H200 节点跑 DeepSeek-V3 671B FP8 原生,单节点 1,500–2,500 tok/s 总吞吐(SGLang / vLLM,batch 64+),参考 SGLang DeepSeek V3 benchmark 与 vLLM benchmark 报告。Qwen3-235B-A22B INT4(~120GB)可以,TP=2 单流 60–80 tok/s,batch 32 稳

#开源
大模型RAG实战,从被骂不靠谱到成为部门MVP,这是我的踩坑全记录

一切的起点是一顿臭骂上个月,我被领导叫进办公室骂了整整二十分钟。起因是这样的——我们部门负责维护一套内部知识库系统,里面沉淀了公司近五年的技术文档、故障处理手册、还有各种规范流程。问题是,这玩意儿除了当摆设,几乎没人用。为啥?因为搜索太烂了,关键词匹配的那种,你搜服务器宕机怎么办,它给你返回一堆包含服务器的文档,真正有用的那篇反而排在第三页。新同事入职问问题,老员工翻文档找答案,大家宁可在群里@人

#开源#服务器
一次P0 故障:微服务线程数莫名暴涨 10 倍,线程问题踩坑

正常情况下,线程池的核心线程数是10,最大线程数是20,队列容量是100。更糟的是,由于线程阻塞,服务开始拒绝连接,导致上游网关超时,最终引发了连锁故障——整个交易链路中断了15分钟。### 2. 线程池配置不合理核心线程数10,最大线程数20,队列100。运行这段代码,你会发现即使只有100个任务,线程池也会迅速创建20个线程(最大线程数),然后队列被填满,后续任务被拒绝。但在真实场景中,由于第

#微服务#java#架构
微服务架构:基于微服务和Docker容器技术的PaaS云平台架构设计(微服务架构实施原理)

微服务架构:基于微服务和Docker容器技术的PaaS云平台架构设计(微服务架构实施原理) 引言:从单体到微服务的演进在传统的软件架构中,单体应用(Monolithic)将所有功能模块打包在一个进程中运行,随着业务复杂度增加,部署、扩展和团队协作变得异常困难。微服务架构(Microservices)应运而生,它将应用拆分为一组小型、自治的服务,每个服务围绕业务能力构建,可独立部署、扩展和维护。结合

#架构#微服务#docker
大模型RAG实战,从被骂不靠谱到成为部门MVP,这是我的踩坑全记录

一切的起点是一顿臭骂上个月,我被领导叫进办公室骂了整整二十分钟。起因是这样的——我们部门负责维护一套内部知识库系统,里面沉淀了公司近五年的技术文档、故障处理手册、还有各种规范流程。问题是,这玩意儿除了当摆设,几乎没人用。为啥?因为搜索太烂了,关键词匹配的那种,你搜服务器宕机怎么办,它给你返回一堆包含服务器的文档,真正有用的那篇反而排在第三页。新同事入职问问题,老员工翻文档找答案,大家宁可在群里@人

#开源#服务器
【GUI-Agent】阿里通义MAI-UI 代码阅读(1)--- 总体

【GUI-Agent】阿里通义MAI-UI 代码阅读(1)— 总体 引言:什么是GUI-Agent与MAI-UI在人工智能快速发展的今天,如何让AI更好地理解和操作图形用户界面(GUI)成为了一个热门研究方向。阿里通义团队开源的MAI-UI(Multi-modal Agent Interface for UI)正是为了解决这一挑战而生。它是一款基于多模态大模型的GUI Agent框架,能够解析屏幕

#ui
到底了