#!/bin/bash

# 删除旧容器（忽略不存在的错误）
docker rm -f test 2>/dev/null

# 启动预测
docker run \
--name test \
-p 1787:8000 \
-v $(pwd):/workspace \
-w /workspace \
-v /global/models/Qwen3-30B-A3B:/models \
-v /global/data/model/Qwen3-30B-A3B-lora:/lora \
-e PYTHONPATH=/workspace \
-e CUDA_VISIBLE_DEVICES=1,2,5,7 \
vllm/vllm-openai:latest \
--model /models \
--served-model-name test-Qwen3-30B-A3B \
--enable-lora \
--lora-modules my_lora=/lora \
--max-loras 1 \
--max-lora-rank 64 \
--host 0.0.0.0 \
--port 8000

# 人工智能
Logo
亚马逊云科技技术品牌专区

更多推荐

Docker容器安全加固指南

从2018年的Kubernetes漏洞到近年频发的容器逃逸事件，每一次安全事件都在提醒我们：容器安全不是可选项，而是必选项。真正的容器安全始于意识，固于技术，成于习惯。随着云原生技术的不断发展，安全威胁也在不断演变，唯有建立持续改进的安全文化，采用纵深防御策略，才能在这个动态变化的战场上保持主动。记住：最安全的容器不是无法攻破的容器，而是攻击者认为不值得花费精力攻击的容器。注：容器安全是一个快速发

avatar 亚马逊云科技技术品牌专区

边缘计算平台架构与部署方案

传统的集中式云计算模式，将所有数据传输至遥远的中心云进行处理，在面对自动驾驶、工业物联网、智慧城市等对实时性、带宽和隐私有极高要求的场景时，日益暴露出延迟高、带宽成本大、数据隐私风险高等局限性。网络方面，需确保边缘节点与设备、边缘节点之间、边缘与中心云之间网络的低延迟、高带宽和高可靠性，可能涉及5G、TSN、光纤等多种技术混合组网。该平台需能远程监控所有边缘节点的健康状态（硬件、软件、网络）、资源

avatar 亚马逊云科技技术品牌专区

Kubernetes配置管理实践

Kubernetes配置涵盖Deployment、Service、ConfigMap、Secret、Ingress等多种资源类型，其复杂性体现在三个方面：首先，环境差异性（开发、测试、生产）要求配置动态适配；在云原生时代，Kubernetes已成为容器编排的事实标准，但如何高效管理其复杂配置，确保应用在不同环境中的一致性、安全性与可维护性，是每个技术团队必须面对的挑战。通过将配置视为核心资产，企业

avatar 亚马逊云科技技术品牌专区