logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vllm加速推理模型官方学习文档笔记

vLLM是一个高性能LLM推理系统,其核心优势在于高效的KV缓存管理、智能分批调度和多进程解耦架构。报告详细梳理了vLLM的安装部署、架构原理和性能优化方法。在安装方面,vLLM支持多种GPU/CPU平台,但对Windows仅限WSL方式;部署提供从Docker到Kubernetes等多种方案。架构上采用API Server、Engine Core和GPU Worker多进程设计,通过ZMQ通信实

#学习
vllm加速推理模型官方学习文档笔记

vLLM是一个高性能LLM推理系统,其核心优势在于高效的KV缓存管理、智能分批调度和多进程解耦架构。报告详细梳理了vLLM的安装部署、架构原理和性能优化方法。在安装方面,vLLM支持多种GPU/CPU平台,但对Windows仅限WSL方式;部署提供从Docker到Kubernetes等多种方案。架构上采用API Server、Engine Core和GPU Worker多进程设计,通过ZMQ通信实

#学习
CrewAI多智能体编排框架学习笔记

CrewAI = 用"角色扮演"的方式组建 AI 团队,让多个 Agent 像人类团队一样协作完成任务如果说 LangGraph 是手动画流程图,那 CrewAI 就是组建一个虚拟公司:你定义每个员工的角色、目标、技能,然后给团队分配任务,它们自己协作完成。你要做什么?"给一个 AI 几个工具让它回答问题"└─ LangChain create_agent ✅ (最简单)"自己精确控制每一步的执行

#人工智能
LangChian1.0核心机制与开发指南

LangChain 1.0 进行了重大架构变革,全面转向Agent模式,核心特点包括:统一使用create_agent作为构建入口,简化API设计工具系统大幅简化,支持三种定义方式(Python函数、装饰器、社区集成)创新的Content Blocks机制统一多模型返回值格式中间件系统采用洋葱模型,提供6个生命周期钩子记忆机制本质是对话历史管理,支持全量/摘要/向量三种策略实战示例展示了多工具集成

#python
Python并发编程

本文通过工厂比喻形象解释了Python并发编程的核心概念:进程是独立厂房(内存隔离),线程是共享厂房的工人(需加锁防数据竞争),协程是单线程内的高效任务切换(避免线程切换开销)。重点分析了Python的GIL锁对多线程的影响,比较了多进程(CPU密集型)、多线程(I/O密集型)和协程(高并发I/O)的适用场景。详细介绍了线程安全问题和解决方案(Lock/Queue),深入讲解了asyncio的协程

#python#开发语言
python的魔术方法

魔术方法(Magic Methods)是 Python 类中前后各有两个下划线由 Python自动调用,无需手动触发;用于实现类的特殊行为(如实例创建、字符串表示、比较、算术运算等),让类的行为更像内置类型。# __len__:支持 len()# __getitem__:支持 obj[key] 获取元素# __setitem__:支持 obj[key] = value 设置元素# __contai

#python#开发语言
python基础

print("获取资源")return "资源对象" # 返回给 as 后的变量print("释放资源")# 可处理异常:返回 True 表示异常已处理,不向外抛出print(f"捕获异常:{exc_val}")# 使用print(f"使用 {res}")# 故意触发异常raise ValueError("出错了")with语句是语法糖,让资源管理代码更简洁、安全;上下文管理器的核心是__ente

#python#开发语言
到底了