代码补全快餐教程(2) - 预训练模型的加载和使用上一节我们用30多行代码建立了一个强大的补全模型，让大家对于transformers库有了个感性的认识。下面我们开始补课，更深入到了解下发生在幕后的故事。加载预训练好的语言模型gpt2之所以强大的原因是在于它是在超过40GB的文本上进行训练的大型语言模型。通过这个大型的预训练语言模型，我们可以做一些fine-tuning针对编程语言进行优化...

在这一讲之前，我们所用的大模型都是针对文本的。这一讲我们增加一个新的领域，即音频。我们将介绍OpenAI的Whisper模型，它是一个处理音频的大模型。

强化学习快餐教程(1) - gym环境搭建欲练强化学习神功，首先得找一个可以操练的场地。两大巨头OpenAI和Google DeepMind都不约而同的以游戏做为平台，比如OpenAI的长处是DOTA2，而DeepMind是AlphaGo下围棋。下面我们就从OpenAI为我们提供的gym为入口，开始强化学习之旅。OpenAI gym平台安装安装方法很简单，gym是python的一个包，通...

大家都知道，大模型的训练需要海量的算力。其实，即使是只对大模型做微调训练，也是需要大量的计算资源的。有没有用更少的计算资源来进行微调的方法呢？研究者研发出了几种被Hugging Face统称为参数高效微调PEFT(Parameter-Efficient Fine-Tuning)的技术。这其中常用的几个大家应该已经耳熟能详了，比如广泛应用的LoRA技术(Low Rank Adapters,低秩适配)

强化学习快餐教程(1) - gym环境搭建欲练强化学习神功，首先得找一个可以操练的场地。两大巨头OpenAI和Google DeepMind都不约而同的以游戏做为平台，比如OpenAI的长处是DOTA2，而DeepMind是AlphaGo下围棋。下面我们就从OpenAI为我们提供的gym为入口，开始强化学习之旅。OpenAI gym平台安装安装方法很简单，gym是python的一个包，通...

代码补全快餐教程(4) - 训练语言模型一个强大的语言模型可以是其他任务的良好基础。预训练的模型就为我们提供了一个强大的语言模型基础，在些基础上，我们进行微调，就可以实现满足特殊需求的模型。我们先做实操，然后再讲解相关理论。代码数据准备严格来讲，进行代码数据准备需要做代码的排重，后面讲到相关论文时我们会讲到。现在我们就用个最简单的办法，将代码先拼接在一起。我们写个小脚本，将transf...

操作系统形式化验证实践教程(11) - 结构化证明语言Isar结构化证明语言Isar基本语法apply方法和by方法虽然可以完成功能，但是看起来更像是命令式语言。使用Isar语言，还可以写得更加形式化一点。Isar的格式看起来像这样:proofassume "公式1"from “公式1" have "公式2" by 方法...from "公式n" show "结论" by 方法qed虽然换了种写法

操作系统形式化验证实践教程(12) - 经典命题逻辑与公式查错方法第10节我们介绍了直觉一阶逻辑，它是不接受排中律的逻辑。在编程体感上，直觉一阶逻辑IFOL库，不支持auto，不支持sledgehammer，不能使用try0与try，基本上可以使用的就是simp或者手动推理。经典命题逻辑我们使用经典一阶逻辑库FOL，它是继承自IFOL的。经典一阶逻辑库FOL现在我们换成经典一阶逻辑的FOL库，现在

Python使用阿里云镜像临时使用pip install -i https://mirrors.aliyun.com/pypi/simple/ 包名以后都使用阿里云的源pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/...

用照片进行三维模型重建在元宇宙的世界里，需要有大量的3D模型。而3D模型的数量，一直是困扰从2D到3D转型的拦路虎。以游戏角色建模为例，这些角色背后是无数的雕刻师用996加班和一地的头发换来的。很多技术同学听说过类似于3DMax和Maya这样的建模工具，不知道是不是了解ZBrush雕刻的过程：雕刻只是第一步，针对每个具体的领域，还需要专门的工具来辅助。比如要给人穿上衣服，我们需要有Marvelou