logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

k8s-agent架构思考(一)

基础的 Agent 搭建起来后,核心结构就是 Provider 和 Tool,其他部分都属于扩展。可以把 LLM 看作大脑,Tool 看作爪子,这样一个“八爪鱼式”的 Agent 就诞生了。如果是在本地使用,安全性基本可控。可以在本地添加各种 MCP、Tools 等组件——像 Claude Code 这类工具就是这样做的。虽然它们的权限较大,但只要做好权限控制并谨慎操作,风险是可以接受的。但如果

#python
k8s-agent架构思考(二)

前面完成了一个 agent基础功能,这个agent是可以做为一个整体部署到任何一台机器的,下一个问题是:如何将Agent部署到Kubernetes集群中,并支持多Agent的管理和使用?如果要考虑云agent的话, 就需要思考一些实现思路了:**固定机器模式: **直接把agent部署到线上,一个用户指定一个,需要的时候开启?类似家里的电脑一样,需要就开,不用就关固定分配池模式:维护一个 Agen

#kubernetes#架构#容器
k8s-agent架构思考(一)

基础的 Agent 搭建起来后,核心结构就是 Provider 和 Tool,其他部分都属于扩展。可以把 LLM 看作大脑,Tool 看作爪子,这样一个“八爪鱼式”的 Agent 就诞生了。如果是在本地使用,安全性基本可控。可以在本地添加各种 MCP、Tools 等组件——像 Claude Code 这类工具就是这样做的。虽然它们的权限较大,但只要做好权限控制并谨慎操作,风险是可以接受的。但如果

#python
vllm本地台式机运行(3070显存8G)与模型量化

本文对比了ollama与vllm两种大语言模型推理框架的部署差异。在RTX 3070(8G显存)环境下,ollama部署更简便且资源占用低,但性能较弱;而vllm需要额外配置量化方案才能运行。文章详细记录了vllm的安装过程(使用CUDA 12.8版本)和API服务器启动参数说明,重点展示了如何通过BitsAndBytesConfig对Qwen3-4B模型进行4bit量化以降低显存占用,并提供了量

#python
docker的安装与使用

文档与安装基本安装 官方的文档走就行了,本文罗列一些简单步骤https://docs.docker.com/install/linux/docker-ce/ubuntu/#prerequisites1,安装 前如果之前有安装 则删除sudo apt-get remove docker docker-engine docker.io2,查看自己的是哪个版本,官网会有不同的命令sudo ...

#docker
docker的安装与使用

文档与安装基本安装 官方的文档走就行了,本文罗列一些简单步骤https://docs.docker.com/install/linux/docker-ce/ubuntu/#prerequisites1,安装 前如果之前有安装 则删除sudo apt-get remove docker docker-engine docker.io2,查看自己的是哪个版本,官网会有不同的命令sudo ...

#docker
java命令行构建(二)

我们要用命令行来实现 源文件-> 可运行jar,我们可以参考ant的打jar包脚本。

#java#jar
到底了