logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型学习8下-高性能推理引擎vLLM学习笔记

vLLM的定位是服务端LLM推理引擎,而不是个人本地试玩工具。如果只是本地体验模型,或者主要使用CPU推理、GGUF模型,llama.cpp和Ollama通常更合适。vLLM的核心场景,是将开源LLM稳定部署为在线服务。它的优势主要体现在GPU推理、高并发处理、监控指标和生产部署能力上,适用于企业内部模型服务、RAG系统、Agent平台,以及需要多人同时调用的API服务。不过vLLM本身并未提供官

#学习
Memgraph 与 Neo4j 图数据库对比及 .NET 生态适配分析

nts/second 的流式摄入能力,支持 openCypher 和 Bolt 协议(与 Neo4j 驱动兼容),但采用 BSL 1.1 许可(非 OSI 认可的开源许可)。在 .NET 生态适配方面,Neo4j 拥有远为成熟的工具链——官方 Neo4j.Driver(Bolt 协议)、社区驱动的 Neo4jClient(流畅 Cypher API)、Neo4j-OGM 对象图映射器,以及 Spr

#neo4j#数据库#.net
近期使用Claude Code + Opus4.7设计开发了一个开源项目:Qianyuan AI Agentic Framework

特性维度实现语言/平台C# 13 / .NET 10Agent 模式ReAct (Thought-Action-Observation) 循环;Agent-as-Tool 嵌套调用Skill 体系抽象 ISkill + SkillManager 渐进式加载;按用户意图打分挑选 topKMarkdown Skill从指定目录递归加载业界常见 Skill.md / SKILL.md,将 frontma

#开源#人工智能
anki-vocab:一个命令行工具,让背单词变成一件很酷的事

用了很多 App,要么卡片太简陋(只有单词+中文释义),要么复习流程太机械。——有英文释义、有使用场景、有记忆技巧、有发音,还有地道的例句。anki-vocab。它把 Claude(LLM)、OpenAI TTS、Anki 串成了一条流水线,按下一个命令,所有事情自动完成。更妙的是,我发现光"存卡片"还不够。记过的单词得用起来。于是我又加了一个,从你的单词库里抽取词汇,让 Claude 生成一篇考

#算法#人工智能
大模型学习8下-高性能推理引擎vLLM学习笔记

vLLM的定位是服务端LLM推理引擎,而不是个人本地试玩工具。如果只是本地体验模型,或者主要使用CPU推理、GGUF模型,llama.cpp和Ollama通常更合适。vLLM的核心场景,是将开源LLM稳定部署为在线服务。它的优势主要体现在GPU推理、高并发处理、监控指标和生产部署能力上,适用于企业内部模型服务、RAG系统、Agent平台,以及需要多人同时调用的API服务。不过vLLM本身并未提供官

#学习
到底了