摘要：本文介绍了如何在Python环境中使用gpt-4o-mini模型，包括Anaconda的安装与配置、创建新的Python虚拟环境、安装langchain与openai相关包、接入OpenAI API（包括使用第三方API站点以规避地域限制）的方法。详细步骤涵盖了环境变量的设置、API密钥的管理、模型调用的代码示例及消费估算。此外，还提供了优化大模型使用效率的建议，如使用多线程、令牌池，以及编

本文详细介绍了使用sglang在本地部署Qwen3.5模型的全过程，包括环境准备、启动命令解析、Claude Code配置及常见问题解决方案。重点阐述了sglang的高效推理能力，提供了详细的参数配置说明，并分享了通过LiteLLM实现OpenAI格式转换的技巧。文章还记录了Docker部署方案和A3B-GPTQ-Int4模型部署失败的经验教训，最终推荐了Qwen3.5-9B作为稳定可用的本地部署

本文针对LLaMA-Factory的vllm推理脚本存在的两个痛点进行了优化：1）多数据集注册繁琐问题；2）切换数据集需重复加载模型问题。通过重构vllm_infer函数，将LLM对象作为参数传入而非内部创建，实现了模型单次加载多次使用的优化方案。代码实现包含两部分：1）vllm_infer.py负责处理数据集加载、批量推理和结果保存；2）主脚本完成模型初始化、参数设置并遍历数据集进行推理。该方案

选择http和ssh等不同协议的下载方式，如果是linux，不想输入密码的话，建议 ssh；.pub结尾的文件，里面存放的是公钥，将公钥文件复制粘贴到gitee或者github进行配置；Q: 为什么git 已经配置成功了，下载和上传文件还是要输入用户名和密码？

网络层的功能 网络层向上只提供简单灵活的、无连接的、尽最大努力交付的数据报服务。也就是说，网络层传送的分组可能出错、丢失、重复、失序、超时。这种设计思路的好处：网络造价大大降低，运行方式灵活。虚电路、数据报比较数据报网络提供网络层无连接服务虚电路网络提供网络层连接服务IPv4地址[1]:146A类：0.0.0.0到127.255.255.255数字0和127不作为主机的IP地址，数字127保留给内

hello.h#include<stdio.h>#ifndef _STDIO_H_#define _STDIO_H_void hello();#endifhello.cpp实现hello.h#include"hello.h"#include<stdio.h>void hello(){printf("hello world");}mian.cpp#include"hello.

使用uv工具进行Python包管理的流程，重点演示了如何打包和安装本地Python包。文章以vector_pkag项目为例，展示了项目结构、模块导入方式、测试配置方法，并通过uv build命令生成whl文件。详细说明了如何在其他项目中通过uv add安装本地whl包。还提供了VSCode的settings.json配置建议，确保开发和测试环境一致性。整个过程体现了uv工具在Python包管理中的

Mac / 苹果电脑 安装vscode，并在终端配置，可通过终端打开文件夹

本文介绍了如何通过 LlamaFactory 原生数据集，实现支持 LoRA 微调模型的 vllm 批量推理。提供了完整代码实现和配置示例，展示了使用 vllm 加速推理的方式。测试结果表明vllm推理代码提升了推理效率。

使用Llamafactory微调模型后，完成vllm的API本地部署，再利用 langchain 工具进行推理。