logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从Ollama到vllm的本地大模型部署指南

本文介绍了两种在企业内网部署本地大模型的方案:Ollama和vLLM。针对代码安全要求,作者详细说明了使用Docker部署的配置过程,包括OLLAMA_CONTEXT_LENGTH、CUDA_VISIBLE_DEVICES等关键参数设置,并分享了与ClaudeCode集成的实践经验。文章特别指出了Ollama在并发性能和推理速度上的不足,进而转向vLLM方案,详细介绍了模型下载、GPU资源配置、内

#eureka#云原生
从Ollama到vllm的本地大模型部署指南

本文介绍了两种在企业内网部署本地大模型的方案:Ollama和vLLM。针对代码安全要求,作者详细说明了使用Docker部署的配置过程,包括OLLAMA_CONTEXT_LENGTH、CUDA_VISIBLE_DEVICES等关键参数设置,并分享了与ClaudeCode集成的实践经验。文章特别指出了Ollama在并发性能和推理速度上的不足,进而转向vLLM方案,详细介绍了模型下载、GPU资源配置、内

#eureka#云原生
从Ollama到vllm的本地大模型部署指南

本文介绍了两种在企业内网部署本地大模型的方案:Ollama和vLLM。针对代码安全要求,作者详细说明了使用Docker部署的配置过程,包括OLLAMA_CONTEXT_LENGTH、CUDA_VISIBLE_DEVICES等关键参数设置,并分享了与ClaudeCode集成的实践经验。文章特别指出了Ollama在并发性能和推理速度上的不足,进而转向vLLM方案,详细介绍了模型下载、GPU资源配置、内

#eureka#云原生
Claude 使用教程

文章摘要:本文详细介绍了ClaudeCode的工作原理及其核心组件。首先解释了AI大模型通过Agent调用工具的工作机制,类比大脑与四肢的关系。然后重点介绍了两个关键组件:AgentSkills(带目录的说明书,通过元数据实现按需加载)和MCP(标准化协议,实现AI与数据源/工具的无缝交互)。文章提供了具体安装部署案例,包括Playwright搜索新闻和Git操作示例,并展示了如何结合AgentS

#开源软件
Claude 使用教程

文章摘要:本文详细介绍了ClaudeCode的工作原理及其核心组件。首先解释了AI大模型通过Agent调用工具的工作机制,类比大脑与四肢的关系。然后重点介绍了两个关键组件:AgentSkills(带目录的说明书,通过元数据实现按需加载)和MCP(标准化协议,实现AI与数据源/工具的无缝交互)。文章提供了具体安装部署案例,包括Playwright搜索新闻和Git操作示例,并展示了如何结合AgentS

#开源软件
到底了