jetson orin NX 16G部署llama.cpp服务

Instruct 小模型（1B–8B） + QLoRA + 高质量问答/对话数据 + 本地导出到 GGUF/Ollama。在框架上，Linux/Windows 先选 Unsloth 或 LLaMA-Factory，Mac 选 MLX-LM。这样最容易把“微调”和“本地部署”打通。

pycharm远程调试docker容器中的代码

1、使用系统信息获得npu使用情况。