logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LoRA大模型微调入门

维度全量微调 (FFT)LoRA (PEFT 代表)参数更新范围更新 100% 的参数仅更新 <1% 的旁路参数核心机制直接修改原权重通过两个低秩矩阵(B×AB \times AB×A)模拟权重变化硬件门槛极高(需多卡/集群)低(单张消费级显卡往往即可)模型切换需重新加载整个大模型仅需切换很小的 LoRA 权重文件推理效率无额外延迟权重合并后无额外延迟通过将巨大的参数矩阵分解为两个低秩矩阵的乘积,

文章图片
#深度学习#人工智能#机器学习
大模型训练成本

买一张RTX 3090 (二手约¥5000)或RTX 4090。这是性价比之王,可以跑 8B 全量推理,或者 70B 的量化推理,以及绝大多数模型的 LoRA 微调。租用或购买2-4 张 A800/A100。如果预算有限,多张 4090 组集群做推理和轻量微调也行。必须上8卡 A100/H100 服务器,一台服务器成本在 150万-250万人民币左右。除非你有 5000 万人民币以上的预算和顶级的

文章图片
微服务架构入门

微服务架构并非某种特定的技术框架,而是一种架构风格(Architectural Style)。将一个单一应用程序开发为一组小型服务的方法,每个服务运行在自己的进程中,并使用轻量级机制(通常是 HTTP Resource API)进行通信。这种架构风格强调由于业务能力(Business Capability)而划分服务边界,并可以通过全自动部署机制独立部署。

文章图片
#架构#微服务#java
Java——static

staticstatic是Java语言中用于修饰类成员的关键字,其核心作用在于。当成员被声明为static时,它不再属于任何特定对象实例,而是直接归属于类本身。这种设计模式在Java内存管理中具有特殊意义:静态成员在方法区(Method Area),而非堆内存,这使得它们在程序启动时即被初始化,并在整个JVM生命周期内持续存在。从JVM内存模型角度看,static成员的初始化时机早于对象创建。当类

文章图片
#java#开发语言
Java volatile关键字

在Java并发编程中,共享变量的同步问题是绕不开的核心难点。作为重量级同步机制,虽然能解决大部分并发问题,但会带来线程上下文切换和调度的性能损耗。而volatile作为Java提供的轻量级同步机制,以其极低的性能开销,在特定场景下成为并发编程的优选。但volatile的使用门槛更高,稍不注意就会因理解不透彻导致并发bug。

文章图片
#java#开发语言
Java Collections & Arrays 工具类

不可变集合修改和返回的集合,调用add/remove均会抛;Collections.copy 容量:目标 List 需提前初始化大小(size()),而非仅指定容量;Arrays.asList 基本类型:避免直接传入int[]long[]等基本类型数组,需转为Integer[]Long[];二分查找前置条件:无论是还是,必须先对目标排序;同步化集合迭代返回的集合,迭代时需手动加锁,否则可能出现并发

文章图片
#java
Java Map 集合全维度解析

【代码】Java Map 集合全维度解析。

文章图片
#java
Redis入门(1)

NoSQL = Not Only SQL(不只是 SQL),是一类非关系型数据库的总称。关系型数据库(MySQL):适合结构化数据、复杂查询(联表)、事务一致性,但高并发、大数据量场景下性能拉胯(比如百万用户同时访问的电商网站)NoSQL 数据库:适合非结构化/半结构化数据、高并发读写、海量数据存储,特点是高性能、高可用、可扩展主节点(master):写入数据,同步数据到从节点从节点(slave)

文章图片
#redis#数据库#缓存
JVM中的直接内存

使用直接内存的场景:大文件处理(>100MB的文件读写)高性能网络通信(Netty、gRPC等框架)内存映射文件(随机访问大文件)与本地库交互(需要共享内存)大数据处理(Spark、Flink等计算框架)高频I/O操作(数据库连接池、缓存系统)不使用直接内存的场景:小对象频繁创建(使用对象池或堆内存)简单的桌面应用(无需高性能I/O)内存受限环境(直接内存管理复杂)短期运行的程序(分配开销不划算)

文章图片
#jvm
    共 17 条
  • 1
  • 2
  • 请选择