logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【Ascend】华为昇腾 NPU 部署 Qwen3.5 + SGLang 实战指南

本文提供华为昇腾NPU部署Qwen3.5+SGLang的实战指南,包含Docker Compose配置和启动脚本说明。环境要求为昇腾910B/8.5.0,通过挂载模型目录和映射NPU设备实现快速部署。关键配置包括CPU调优、Ascend环境设置、多卡并行参数等,并给出启动验证步骤。文章还提供性能调优建议和常见问题排查方法,适用于单机多卡场景,支持多模态能力,可根据业务需求调整参数。

文章图片
#sglang
【Ascend】华为昇腾 NPU 部署 Qwen3.5 + SGLang 实战指南

本文提供华为昇腾NPU部署Qwen3.5+SGLang的实战指南,包含Docker Compose配置和启动脚本说明。环境要求为昇腾910B/8.5.0,通过挂载模型目录和映射NPU设备实现快速部署。关键配置包括CPU调优、Ascend环境设置、多卡并行参数等,并给出启动验证步骤。文章还提供性能调优建议和常见问题排查方法,适用于单机多卡场景,支持多模态能力,可根据业务需求调整参数。

文章图片
#sglang
【Ascend】华为昇腾 NPU 部署 Qwen3.5 + SGLang 实战指南

本文提供华为昇腾NPU部署Qwen3.5+SGLang的实战指南,包含Docker Compose配置和启动脚本说明。环境要求为昇腾910B/8.5.0,通过挂载模型目录和映射NPU设备实现快速部署。关键配置包括CPU调优、Ascend环境设置、多卡并行参数等,并给出启动验证步骤。文章还提供性能调优建议和常见问题排查方法,适用于单机多卡场景,支持多模态能力,可根据业务需求调整参数。

文章图片
#sglang
【Python】使用 DeepAgents + LangGraph 搭建 vLLM Qwen3.5:35B 本地智能助手

本文介绍了一个基于DeepAgents、LangGraph和LangChain的本地智能助手系统。该系统支持自定义Skill目录和可扩展的Shell后端,便于学习和二次开发。主要特点包括:通过.env文件配置自建或在线大模型(兼容OpenAI协议);采用虚拟路径映射实现Skill目录管理;提供清晰的DeepAgentRunner类封装;支持流式输出和工具调用。项目使用Python 3.x开发,包含

文章图片
#python#开发语言
【深度学习】使用 LSTM 网络预测水位数据

在本文中,我们将介绍如何使用 LSTM(长短期记忆)神经网络来预测水位数据。我们将使用 Python 中的一些流行库,如 NumPy、Pandas 和 Keras。首先,我们将加载数据,然后预处理它以进行适当的训练。接着,我们将构建 LSTM 模型,并对其进行训练。最后,我们将使用训练好的模型进行预测,并将结果可视化。

文章图片
#深度学习#lstm#人工智能
【人工智能】人工智能中的Agent:法律虚拟助手简单示例

随着人工智能技术的发展,Agent(代理)的概念在这个领域中变得愈发重要。在人工智能的应用中,Agent可以是一个系统、软件或机器人,能够执行特定的任务,理解上下文,并做出相应的决策。一个引人注目的例子是面向法律领域的虚拟助手。让我们深入了解一下,通过一个简单示例展示法律虚拟助手的工作原理。

文章图片
#人工智能#服务器
【人工智能】推荐开源企业级OCR大模型InternVL3

文章参考来源:InternVL3,这是一个高级多模态大型语言模型 (MLLM) 系列,展示了卓越的整体性能。与 InternVL 2.5 相比,InternVL3 表现出卓越的多模态感知和推理能力,同时进一步扩展了其多模态功能,包括工具使用、GUI 代理、工业图像分析、3D 视觉感知等。此外,我们将 InternVL3 与 Qwen2.5 Chat 模型进行了比较,其相应的预训练基础模型被用作 I

文章图片
#人工智能
【人工智能】推荐开源企业级OCR大模型InternVL3

文章参考来源:InternVL3,这是一个高级多模态大型语言模型 (MLLM) 系列,展示了卓越的整体性能。与 InternVL 2.5 相比,InternVL3 表现出卓越的多模态感知和推理能力,同时进一步扩展了其多模态功能,包括工具使用、GUI 代理、工业图像分析、3D 视觉感知等。此外,我们将 InternVL3 与 Qwen2.5 Chat 模型进行了比较,其相应的预训练基础模型被用作 I

文章图片
#人工智能
【人工智能】使用 vLLM 高效部署大语言模型:以 secGpt14b 为例

本文介绍如何利用vLLM推理引擎在多GPU环境下高效部署secGpt14b大语言模型。从tmux会话管理、GPU指定到关键参数解析,详细说明了--tensor-parallel-size、--max-model-len、--gpu-memory-utilization等参数的优化设置,并提供了REST API调用示例。文章还包含性能调优建议和常见问题解答,帮助开发者快速构建高性能的大模型推理服务。

文章图片
#人工智能#语言模型#自然语言处理
【Docker】使用Docker快速部署n8n和unclecode/crawl4ai

通过Docker部署n8n和crawl4ai可以快速搭建自动化工作流环境。本文详细介绍了部署步骤和注意事项,希望对大家有所帮助。后续可以根据实际需求进行更多的自定义配置和优化。

文章图片
#docker#容器#运维
    共 29 条
  • 1
  • 2
  • 3
  • 请选择