大模型微调，通常指有监督微调（Supervised Fine-Tuning, SFT），是在预训练模型（一般称为“基座模型”）的基础上进行的训练过程。预训练模型通常已经掌握了广泛的语言知识和语义表示，但为了让模型在特定任务或领域上表现得更好，我们会在特定任务的数据集上对其进行微调。1）Language Model，LM：一个预训练语言模型 LM，对基础模型微调得到一个微调后的模型使用人工标注的数据

本文主要分享如何使用 LLaMAFactory 实现大模型微调，基于 Qwen1.5-1.8B-Chat 模型进行 LoRA 微调，修改模型自我认知。more本文的一个目的：基于模型进行微调，修改模型自我认证。修改前对于模型，用户问你是谁？时模型一般会回答我们希望在微调之后，对于同样的问题，模型能回答。

DevOps 另一选择？云原生 CICD: ArgoWorkflow 初体验。

本文介绍了一种开源的GPU虚拟化方案HAMi(Heterogeneous AI Computing Virtualization Middleware)。相比于传统的TimeSlicing方案，HAMi不仅支持GPU共享，还能对GPU核心和显存进行细粒度隔离与限制(1%级别)，确保各Pod获得相应资源。HAMi采用vCUDA方案，通过拦截CUDA/NVML API实现资源控制，当Pod使用超过申请

大模型推理有多种方式比如最基础的 HuggingFace TransformersTGIvLLM其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下如何使用 vLLM 来启动大模型推理服务。根据 vLLM 官方博客所说：进行了 NVIDIA A10 GPU 上推理 LLaMA-7 B 和 在 NVIDIA A100 GPU（40 GB）上推理 LLaMA-13 B 两个实

本文主要讲述了Java单例模式之双重校验锁中volatile关键字的作用。更多文章欢迎访问我的个人博客–>幻境云图上篇文章Java设计模式(一)–单例模式中讲了Java单例模式的几种写法，其中懒汉式和双重校验锁方式写法如下：1. 懒汉式public class Singleton {private static Singleton instance;...

本文主要记录了如何使用 gRPC-Gateway 同时对外提供RESTful API 和 gRPC 接口。1. 概述gRPC 系列相关代码见 GithubgRPC-Gateway 是Google protocol buffers compiler(protoc)的一个插件。读取 protobuf 定义然后生成反向代理服务器，将RE

来自：指月 https://www.lixueduan.com原文：https://www.lixueduan.com/post/network/06-http-flow/本文主要通过抓包分析了一次 HTTP(S) 请求究竟需要多少流量，同时也分析了一下整个 HTTP 请求的执行流程。1. 背景最近查询监控，观察到某个负载的带宽峰值在最高的时候都达到了近 30M，然后查了对应时间段的系统 QPS，

这是一个十分详细的CentOS7的安装教程，对自己的安装过程做了一个记录。主要记录了如何通过VMware虚拟机安装Linux，从软件下载到虚拟机安装等等。点击阅读更多Linux入门系列文章我的个人博客–>幻境云图1. 准备工作1.1 VMware下载百度网盘下载（内含注册机）链接: https://pan.baidu.com/s/1wz4hdN

本章主要讲了linux如何配置网络，让虚拟机能够连上外网，如何让虚拟机和主机联通，同时介绍了ssh客户端工具连接虚拟机。点击阅读更多系列文章我的个人博客–>幻境云图1. Xshell在安装好虚拟机后就可以正常使用了。但是在正常工作中不可能真的在服务器上操作，一般都是通过ssh客户端工具连接服务器进行操作。这里用到的客户端工具是Xshell,通过该工具连上服务器