logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

为什么主流大模型都用 Decoder-Only 架构?从 BERT 的辉煌到 GPT 的统治

【摘要】2018年BERT与GPT-1的架构之争中,Encoder架构曾被认为更具优势。然而当前主流大模型普遍采用Decoder-Only架构,其逆袭源于七大核心优势:1️⃣训练效率高,每个Token都贡献梯度;2️⃣训练与推理完全一致,避免分布偏移;3️⃣天然支持上下文学习(ICL),通过前文示例理解任务;4️⃣缩放定律可预测,便于资源规划;5️⃣统一所有任务为序列生成范式;6️⃣支持KVCac

文章图片
#架构#bert
华为云云耀云服务器L实例评测|基于Docker环境快速部署Halo个人博客实操

云耀云服务器L实例是新一代开箱即用、面向中小企业和开发者打造的全新轻量应用云服务器。云耀云服务器L实例提供丰富严选的应用镜像,实现应用一键部署,助力客户便捷高效的在云端构建电商网站、Web应用、小程序、学习环境、各类开发测试等。云计算服务的入门用户服务器中部署简单应用的个人开发者、中小企业云耀云服务器L实例购买地址​​云耀云服务器L实例具备计算、存储、镜像安装、备份等能力。智能不卡顿:瑶光AI智能

文章图片
#服务器#docker#运维 +3
华为云云耀云服务器L实例评测|Java常见开发环境实操部署

云耀云服务器L实例是新一代开箱即用、面向中小企业和开发者打造的全新轻量应用云服务器。云耀云服务器L实例提供丰富严选的应用镜像,实现应用一键部署,助力客户便捷高效的在云端构建电商网站、Web应用、小程序、学习环境、各类开发测试等。云计算服务的入门用户服务器中部署简单应用的个人开发者、中小企业云耀云服务器L实例购买地址​云耀云服务器L实例在不同区域中部署,一个区域发生故障后不会影响其他区域的云服务器。

文章图片
#数据库#java#运维 +2
华为云云耀云服务器L实例评测|基于Docker环境快速部署Halo个人博客实操

云耀云服务器L实例是新一代开箱即用、面向中小企业和开发者打造的全新轻量应用云服务器。云耀云服务器L实例提供丰富严选的应用镜像,实现应用一键部署,助力客户便捷高效的在云端构建电商网站、Web应用、小程序、学习环境、各类开发测试等。云计算服务的入门用户服务器中部署简单应用的个人开发者、中小企业云耀云服务器L实例购买地址​​云耀云服务器L实例具备计算、存储、镜像安装、备份等能力。智能不卡顿:瑶光AI智能

文章图片
#服务器#docker#运维 +3
一文详解Docker数据卷(volume)

docker的理念将运行的环境打包形成容器运行,运行可以伴随容器,但是我们对数据的要求是希望持久化,容器之间可以共享数据,Docker容器产生的数据,如果不通过docker commit生成新的镜像,使得数据作为容器的一部分保存下来,那么当容器被删除之后,数据也就没了。而且,如果不进行数据卷挂载的话,对容器配置文件进行修改需要进入容器内部修改,十分麻烦,我们对容器为了能够保存数据并且方便修改,在d

文章图片
#docker#容器#运维 +3
谈谈Redo Log和Undo Log

在MYSQL中,日志是非常重要的,其中Redo log 和undo log都是引擎层(innodb)实现的日志,redo log 是重做日志,提供前滚操作,undo log 是回退日志,提供回滚操作。redo Log是数据库引擎的一种日志,用于记录数据库的物理变更操作,例如数据页的修改。它以顺序方式记录,通常是追加写入磁盘上的日志文件。undo Log是数据库引擎的一种日志,用于记录事务的回滚信息

文章图片
#数据库#mysql#后端 +2
基于Docker的安装和配置Canal

Canal介绍:Canal 是用 Java 开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件(数据库同步需要阿里的 Otter 中间件,基于 Canal)。Canal背景:阿里巴巴 B2B 公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了同步杭州和美国异地机房的需求,从 2010 年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此

文章图片
#docker#容器#运维 +4
一文详解Docker与虚拟机的不同

Docker 是基于 Linux 内核的 cgroup,namespace,以及 AUFS 类的 Union FS 等技术,对进程进行封装隔离,属于操作系统层面的虚拟化技术。由于隔离的进程独立于宿主和其它的隔离的进程,因此也称其为容器。最初实现是基于 LXC,从 0.7 版本以后开始去除 LXC,转而使用自行开发的 libcontainer,从 1.11 开始,则进一步演进为使用 runC 和 c

文章图片
#docker#容器#运维 +3
一文详解Docker与虚拟机的不同

Docker 是基于 Linux 内核的 cgroup,namespace,以及 AUFS 类的 Union FS 等技术,对进程进行封装隔离,属于操作系统层面的虚拟化技术。由于隔离的进程独立于宿主和其它的隔离的进程,因此也称其为容器。最初实现是基于 LXC,从 0.7 版本以后开始去除 LXC,转而使用自行开发的 libcontainer,从 1.11 开始,则进一步演进为使用 runC 和 c

文章图片
#docker#容器#运维 +3
到底了