在Vue3项目中，为了灵活切换不同服务器部署，避免每次切换时重新打包代码，可以通过创建一个proxy.js配置文件来管理服务地址。将API和WebSocket的基地址写入proxy.js，并挂载到window对象上。在index.html中延迟加载proxy.js，确保在DOM加载完成后再访问window.APP_config。在main.js中，通过监听DOMContentLoaded事件，将配

本文想对比一下多机多卡(多机之间没有采用高速网络通信设备互联仅仅采用普通的以太网网卡带宽100M/S)训练和单机多卡训练的速度对比，为将来有可能去实践多机多卡大模型训练奠定一定的基础。采用LLaMA-Factory来进行单机多卡训练比较简单，更详细的过程就赘述了，这里仅仅给出一个训练命令和训练耗时截图，以方便和多机多卡配置进行对比。两台服务器上搭建完全相同的python训练环境，分布式训练采用的框

目录一、过拟合的表现以及判定1、模型过拟合的表现2、模型过拟合的判定二、过拟合的原因三、过拟合的解决方案1、模型层面2、数据层面3、训练层面4、其他最近在做NLP相关任务的时候，训练神经网络模型的过程中，遇到过模型过拟合的情况，到底怎么解决过拟合，来提高模型的性能，不是特别的清晰。以前学习机器学习的时候，也讲到了模型的过拟合，对里面怎么来解...

目录一、pynvml库的简单使用二、显存清理在跑神经网络训练或者推理的时候，有的时候很有必要实时监测一下显存的状态。NVIDIA显卡在终端管理界面，使用命令：watch -n 3 nvidia-smi可以指定每隔几秒中来显示一下显卡信息。当然NVIDIA也是开发了python库，很方便的实时查看GPU信息。一、pynvml库的简单使用这个pynvml库是NVIDIA为自己家显卡开发的一个获取显卡当

基于pytorch多GPU模型训练实践

以前了解过JAVA多线程多进程，python也学到过，但是就没有遇到过具体的业务场景，最近要做一个文本匹配的任务，需要对70W条文本数据进行推荐相似度的计算，需要做一个全遍历——也就是一个70W个元素的list遍历的时候，和自身做一些相关的计算。list中的每个元素没768维的向量，然后得出结果后，还需要排序，然后写入文件存储。这个场景就非常耗时，为了减少消耗时间，在单机的环境下，就想到了并...

有一段时间对模型加速比较感兴趣，其中的一块儿内容就是使用C++和cuda算子优化之类一起给模型推理提速。之前一直没有了解过cuda编程，也没有学习过C++相关的东西。强迫自己来学习一下cuda编程，同时也学习一下C++，扩宽一下AI相关的领域知识。

在Docker中，为了快速构建一个体积较小的镜像，同时替换模型文件，可以采用多阶段构建的方法。首先，从基础镜像A中删除不需要的Python文件和旧模型文件modelA，然后使用FROM scratch创建一个空镜像，并从第一阶段镜像中复制必要的系统文件和Python环境。接着，将新模型文件modelB复制到镜像中，并设置环境变量和配置文件。最后，安装必要的Python包并设置启动命令。通过这种方法

这篇博客就专门对语言大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型上的推理速度和效果进行一个对比。主要的内容分为三块，第一块简单介绍一下vllm和TensorRT-llM框架的特色和基本技术点，由于篇幅的原因关于技术的原理就不做多的介绍(每个技术点都可以拧出来写一篇文章，工作量非常大)；第二块内容就是介绍一下环境安装和重要的API，并且提供一个web推理服务；最后一块

对rwkv_1.5B模型进行了预研和业务领域的验证。为了快速验证，采用了lora+accelerate+deepspeed的训练方式。微调的过程中对rwkv模型认识更加深刻，同时对于docker训练环境搭建也更加熟悉了