当你读到“unbelievable”，你可以立刻意识到它是“un + believe + able”构成的，这种构词结构能让你快速理解它的意思。这个单位，就叫做 token，而设计这个单位的方式，就是 tokenizer。”，模型可能就要花更多精力才能拼凑出“哦，这是一个否定+动词+形容词构成的词”。我们可以看到，从语义结构最强的“句子”到最原始的“字节”，Tokenizer 划分的单位越小，信息

现在的大模型训练越来越深入每个组了，大规模集群系统也应用的愈发广泛。一般的slurm系统提交作业分为2种，一种是srun，这种所见即所得的申请方式一般适用于短期的调试使用，大概一般允许的时间从几个小时到1天左右，很多集群分组都会限制运行时长。而另一种sbatch，则是批量提交作业，当srun调试程序能够成功运行的时候，就可以使用sbatch提交。如何使用slurm可以参考之前写的《》以及《那么有没

3天前，OpenAI公布了一个新特性，那就是宣布用户可以自定义微调GPT-3.5 Turbo了。这意味着什么呢？这就意味着很多任务都可以先拿GPT-3.5 Turbo进行一个微调作为基准系统了。但是，需要注意的是，这里能够微调GPT-3.5 Turbo应该和之前能够微调GPT-3使用的是相似的技术，也就是参数高效的微调，不然每个用户光保存模型大小，即使是传言中的10B左右的模型，也是很难做到的。那

老鸟：想象一下你在写一篇文章，每隔一段时间你都会保存一份草稿。这样，如果你不小心写错了东西，你可以回到之前的某个草稿，重新开始写。这种保存和恢复的机制，就是备忘录模式的核心思想。菜鸟：哦，我明白了。就是保存某个状态，然后可以在需要的时候恢复这个状态，对吧？老鸟：没错！备忘录模式正是通过这种方式工作。接下来，我们用Python代码来逐步实现这个模式。老鸟：今天我们通过对话了解了备忘录模式的基本概念和

老鸟：适配器模式的核心思想是将一个接口转换成客户端希望的另一个接口。举个生活中的例子，你知道电源适配器吧？菜鸟：嗯，知道。不同国家的电源插头形状不一样，但通过电源适配器，我们可以使用同一个设备。老鸟：对，这就是适配器模式的本质。让我们把这个概念应用到编程中，你会发现它非常有用。老鸟：今天我们讨论了适配器模式，它的核心思想是将一个接口转换成客户端希望的另一个接口。我们通过一个简单的 Python 示

近来，大型语言模型的市场需求呈现出蓬勃发展的态势。然而，仅仅掌握模型的数据准备和训练是不够的，模型的部署方法也变得至关重要。在这篇文章中，我们将以Baichuan2为例，利用FastChat进行模型部署的实战操作。

方面，如果是大模型的线上服务，需求往往是批量推理吞吐和足够大的显存，RTX 6000 Blackwell 的单卡性能和 96GB 显存非常契合此类需求，可以用于部署 70B 级别模型的加速推理。搜索了一下，好像没有很好的资料，特别是对于其具体的参数上，很多文章都是二手，三手，甚至是洋葱文章，无法做到详细的对比。) 的高带宽 HBM，内存带宽略低。4-bit 量化是更激进的一步，目前主要在研究阶段，

一个结构清晰、规范明确的 GitHub 协作流程，能大幅度提升团队的开发效率和产品质量。从项目结构到分支策略，从 CI/CD 到代码审查，再到成员分工和敏捷协作，全面打造专业、高效的团队协作环境。如果你的团队刚刚起步或尚未规范协作方式，现在正是建立这一体系的最佳时机。

强烈推荐，这篇论文不仅仅是2018年图灵奖得主之一的Bengio大神著作，也是很好的人工智能入门材料。强烈建议阅读英文原版，其写作风格真的是深入浅出，可以细细品尝。0. 摘要理论结果表明，为了学习可以代表高级抽象的复杂功能（例如，在视觉，语言和其他人工智能任务中），可能需要深层结构。 深层结构由多个级别的非线性运算组成，例如在具有许多隐藏层的神经网络中或在重复使用许多子公式的复杂命题公式中。 搜索

希望大家在五一期间都能过的开心愉快，特地整理了25部关于人工智能的电影用于休闲时候观看。一方面能够享受科幻电影带来的放松，另一方面，也许未来的人工智能的研究和发展就会受到这些电影的启发。下面是按照剧情中人工智能发展的阶段进行的划分，需要注意的是，剧情中可能存在多个层次的人工智能并存的局面。