logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在ec2上部署qwen3VL2B模型

本文介绍了在AWS EC2 g5.4xlarge实例上部署Qwen3-VL-2B-Instruct模型的环境配置过程。首先安装NVIDIA驱动和CUDA工具包,遭遇了内核版本不兼容问题,最终采用apt方式安装。随后配置容器运行时支持,选择Qwen官方和vllm 0.11镜像,通过挂载模型目录启动容器。文中详细说明了镜像选择考量、依赖安装调整以及vllm引擎的启动参数优化,包括显存控制、并行设置等关

文章图片
#语言模型
在ec2上部署deepseekOCR模型

摘要: OCR技术经历了从传统字符识别到多模态理解的演进。传统OCR(1.0)依赖CNN+LSTM结构,仅能提取文本,而现代OCR 2.0(如DeepSeek-OCR、Qwen-VL)结合视觉Transformer和多模态对齐技术,可解析文档结构(表格、公式)并生成Markdown/JSON。DeepSeek-OCR创新性采用"上下文光学压缩"和端到端框架,平衡效率与精度,支持

文章图片
深入理解 Elastic Beanstalk AI 健康分析能力的运行机制

AWS Elastic Beanstalk 将在2026年初推出AI驱动的日志健康分析功能,通过eb logs --analyze命令自动收集环境日志和元数据,利用Amazon Bedrock上的Anthropic Claude模型生成结构化故障诊断报告。系统会收集平台引擎日志、部署钩子日志、应用标准输出/错误日志等6类关键日志文件,并结合环境健康状态和事件时间线等元数据进行分析。

文章图片
#aws
使用agentscope评测Qwen3-4B和Qwen3.5-4B模型的实践

本文对比评测了Qwen3-4B和Qwen3.5-4B模型在AWS SageMaker上的部署表现。Qwen3.5-4B采用Hybrid架构(Gated DeltaNet+Attention),相比标准Transformer的Qwen3-4B具有更好的长文本处理能力,但增加了8.8GB的模型体积和推理复杂度。通过AgentScope框架构建评测系统,包含任务定义、评分指标和Agent解题逻辑。

使用Redis Stream订阅HUATUO发布SSE内核可观测性事件并进行AI分析的数据管道实践

本文介绍了一个基于eBPF技术的云原生内核故障诊断系统HUATUO v2.2.0。该系统通过eBPF在内核态采集事件数据,转换为CloudEvents格式后经由SSE协议发布。事件流被实时写入Redis Streams,由规则引擎和AI分析模块处理:规则引擎快速匹配已知故障模式,复杂事件则通过LiteLLM调用DeepSeek大模型进行深度诊断。系统采用Docker容器化部署,在Amazon Li

文章图片
#aws#hbase#运维
通过diffusers和ComfyUI部署测试Z-Image base模型

摘要: 阿里通义实验室开源的Z-Image是6B参数图像生成基座模型,主打照片级写实、精准双语文字渲染和强可微调性。其核心变体包括基础版(Z-Image)、快速版(Turbo)及待发布的编辑版(Omni-Base)。模型采用S3-DiT架构,通过单流拼接文本与图像Token提升交互效率,并集成Qwen3-4B文本编码器优化中文理解。部署支持Diffusers(需50步推理,显存峰值21GB)或Co

文章图片
使用agentscope访问注册在nacos的A2Aagent和MCP服务

本文介绍了如何部署litellm代理平台和实现A2A服务。首先通过Docker配置litellm和PostgreSQL服务,提供模型管理和API访问功能。然后基于Strands框架开发了一个天气查询的A2A服务,支持JSON-RPC协议交互。最后展示了如何将服务注册到Nacos平台,实现服务的自动发现和管理。这些组件共同构建了一个可扩展的多代理系统架构。

文章图片
#AI
在Lambda函数中编写和部署MCP服务器的方法

摘要 MCP(Model Context Protocol)定义了客户端与服务端之间的通信机制,支持两种标准化传输方式:stdio和Streamable HTTP。相比早期基于HTTP+SSE的方案,Streamable HTTP通过单一端点简化了实现。在AWS Lambda上部署MCP服务器有三种主要方法:1)使用自定义MCP处理器适配Lambda请求-响应模型;2)通过stdio运行现有MCP

文章图片
#运维#aws
用 ZeroClaw 结合 SNS 打造每日新闻邮件推送助手

基于 Rust 编写的 AI Agent 框架 ZeroClaw,接入 60s 新闻 API 和 AWS SNS,实现了定时获取每日新闻与多平台热搜并推送邮件的自动化助手。过程中解决了源码重复定义 bug、OpenAI Provider 硬编码地址(改用 custom: provider 接入本地 LiteLLM 代理)、安全策略限制(放开 http_request 域名白名单和 shell 命令

文章图片
#AI#运维
为agent实现渐进式Skills能力的思考和实践

本文介绍了企业级AI Agent中"渐进式披露"技能知识的设计模式。通过将技能信息分层存储(元数据、核心内容、详细资源),系统启动时仅加载轻量级摘要(约50 tokens),在用户具体提问时才按需加载完整技能内容。每个技能采用标准化目录结构存储,包含元数据文件、操作指南、资源文件和可执行脚本。文章详细说明了AgentSkill类的实现方法,包括元数据加载、指令加载、资源加载和脚

文章图片
#python#linux#算法
    共 69 条
  • 1
  • 2
  • 3
  • 7
  • 请选择