参考B站“九天Hector”的DeepSeek R1微调实战视频的介绍，在4090 GPU上，测试了DeepSeek-R1-Distill模型的推理和微调训练。到wandb上注册一个账户，生成key，例如：key:0123456789。"YOUR_WANDB_API_KEY"是之前申请的wandb key。question = "请问如何证明根号2是无理数？4090关闭P2P和InfiniBand

2080ti，可以用ollama运行deepseek-r1，qwen蒸馏版本。但ollama模型有压缩，生产环境还是用vllm推理原生模型更合适。1、安装vllm和modelscopepip install vllmmodelscope -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/ 2、下载deepseek-r1模型，并启动mkd

由于训练的数据规模较小，训练的tokenizer效果一般，也可以直接复制 happy-llm/docs/chapter5/code/tokenizer_k目录，已经训练好的tokenizer文件。在base_model_215M就可以看到训练生成的基础模型文件：pretrain_1024_18_6144.pth、pretrain_1024_18_6144_step20000.pth、pretrai

Happy-llm是一个非常有意思的项目，让我们可以基于个人电脑，从0到1，从预训练开始，手搓一个大模型。我们使用的数据集是已经下载的出门问问序列猴子开源数据集，这个数据集包含了大量的中文文本数据，可以用于训练Tokenizer。我的5090，将batch_size 18，大概消耗28G显存，GPU全速运行大概60个小时，就会在base_model_215M看到训练的模型。小结：通过Happy-L

下载：https://huggingface.co/r4ziel/xformers_pre_built/blob/main/triton-2.0.0-cp310-cp310-win_amd64.whl。下载：https://huggingface.co/r4ziel/xformers_pre_built/blob/main/triton-2.0.0-cp310-cp310-win_amd64.wh

2-1、如果没有GPU或者GPU显存小于12G，建议用在线大模型：用文本编辑器修改config目录中的model_config.py文件，将申请的大模型key输入到114~184行，同时修改100行LLM_MODEL为对应大模型，例如："zhipu-api"因国内访问huggingface.co困难，做了一个windows下的整合包，内置了chatglm2-6B、m3e-base，可以本地运行la

Ubuntu24.04，基于miniconda，利用在线DeepSeek-V3大模型，通过MCP实现天气查询智能体。代码参考B站UP主“九天Hector”的“MCP技术开发入门实战”。个人用不习惯uv，用conda调整了一下。详细讲解视频，参考B站UP主“九天Hector”的视频及代码讲解。这个代码属于MCP的一个入门学习。通过mcp，挂DeepSeek在线模型，调用服务端天气查询智能体。注册账户

Ubuntu24.04，基于miniconda，利用在线DeepSeek-V3大模型，通过MCP实现天气查询智能体。代码参考B站UP主“九天Hector”的“MCP技术开发入门实战”。个人用不习惯uv，用conda调整了一下。详细讲解视频，参考B站UP主“九天Hector”的视频及代码讲解。这个代码属于MCP的一个入门学习。通过mcp，挂DeepSeek在线模型，调用服务端天气查询智能体。注册账户

参考B站“九天Hector”的DeepSeek R1微调实战视频的介绍，在4090 GPU上，测试了DeepSeek-R1-Distill模型的推理和微调训练。到wandb上注册一个账户，生成key，例如：key:0123456789。"YOUR_WANDB_API_KEY"是之前申请的wandb key。question = "请问如何证明根号2是无理数？4090关闭P2P和InfiniBand

3、启动后通过本地http://127.0.0.1:7860访问，也会生成一个72小时的公网URL，供远程访问。1、下载程序：git clone https://github.com/THUDM/CodeGeeX2。2、直接用ChatGLM2-6B的依赖python .\demo\run_demo.py即可启动。链接:https://caiyun.139.com/m/i?如果嫌安装依赖麻烦，做了一