logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型学习8下-高性能推理引擎vLLM学习笔记

vLLM的定位是服务端LLM推理引擎,而不是个人本地试玩工具。如果只是本地体验模型,或者主要使用CPU推理、GGUF模型,llama.cpp和Ollama通常更合适。vLLM的核心场景,是将开源LLM稳定部署为在线服务。它的优势主要体现在GPU推理、高并发处理、监控指标和生产部署能力上,适用于企业内部模型服务、RAG系统、Agent平台,以及需要多人同时调用的API服务。不过vLLM本身并未提供官

#学习
国内网络环境下的 Docker 镜像迁移与加速实战:用 Skopeo 替代 docker pull + docker tag + docker push

网络环境下做 Docker 开发和运维,很多人都踩过同一个坑:很多团队的第一反应是:配 Docker 镜像加速器、手动拉取后再推送到 Harbor、写 Shell 循环同步。这些方法不能说错,但都不够优雅,也不够稳。这篇文章我想讲清楚一个非常实用、但国内很多开发和运维还没真正用起来的工具:Skopeo。它特别适合解决这类问题:一句话概括:这对国内网络环境尤其有用。先说结论:很多慢,不是你的机器慢,

#网络#docker#eureka
【Web安全,微服务安全】HashiCorp Vault 项目深度分析报告

Vault 解决的不是某一个具体的安全问题,而是一类问题的集合——“任何不应该以明文形式出现在代码、配置文件、版本库、日志中的敏感数据”。这包括但不限于:数据库账号密码、API Key、TLS 证书私钥、SSH 私钥、云平台访问凭证、第三方 OAuth Token、加密主密钥、PII(个人身份信息)等。从设计哲学上看,Vault 与传统配置中心(如 Spring Cloud Config、Apol

#安全#web安全#微服务
Memgraph 与 Neo4j 图数据库对比及 .NET 生态适配分析

nts/second 的流式摄入能力,支持 openCypher 和 Bolt 协议(与 Neo4j 驱动兼容),但采用 BSL 1.1 许可(非 OSI 认可的开源许可)。在 .NET 生态适配方面,Neo4j 拥有远为成熟的工具链——官方 Neo4j.Driver(Bolt 协议)、社区驱动的 Neo4jClient(流畅 Cypher API)、Neo4j-OGM 对象图映射器,以及 Spr

#neo4j#数据库#.net
近期使用Claude Code + Opus4.7设计开发了一个开源项目:Qianyuan AI Agentic Framework

特性维度实现语言/平台C# 13 / .NET 10Agent 模式ReAct (Thought-Action-Observation) 循环;Agent-as-Tool 嵌套调用Skill 体系抽象 ISkill + SkillManager 渐进式加载;按用户意图打分挑选 topKMarkdown Skill从指定目录递归加载业界常见 Skill.md / SKILL.md,将 frontma

#开源#人工智能
anki-vocab:一个命令行工具,让背单词变成一件很酷的事

用了很多 App,要么卡片太简陋(只有单词+中文释义),要么复习流程太机械。——有英文释义、有使用场景、有记忆技巧、有发音,还有地道的例句。anki-vocab。它把 Claude(LLM)、OpenAI TTS、Anki 串成了一条流水线,按下一个命令,所有事情自动完成。更妙的是,我发现光"存卡片"还不够。记过的单词得用起来。于是我又加了一个,从你的单词库里抽取词汇,让 Claude 生成一篇考

#算法#人工智能
大模型学习8下-高性能推理引擎vLLM学习笔记

vLLM的定位是服务端LLM推理引擎,而不是个人本地试玩工具。如果只是本地体验模型,或者主要使用CPU推理、GGUF模型,llama.cpp和Ollama通常更合适。vLLM的核心场景,是将开源LLM稳定部署为在线服务。它的优势主要体现在GPU推理、高并发处理、监控指标和生产部署能力上,适用于企业内部模型服务、RAG系统、Agent平台,以及需要多人同时调用的API服务。不过vLLM本身并未提供官

#学习
到底了