这一次我们将会介绍常用的图搜索算法，分别BFS广度优先搜索和DFS深度优先搜索。常用的图搜索算法包括广度优先搜索（BFS）和深度优先搜索（DFS）。广度优先搜索（BFS）是一种有序搜索算法，它从图的起点开始，按照图的宽度（即按照节点之间的距离）进行搜索。BFS会把起点与它相邻的所有节点都搜索一遍，然后再搜索与这些节点相邻的节点，以此类推，直到搜索完整张图。BFS可以用来找出两个节点之间的最短路径。

老鸟：L3缓存是CPU缓存层次结构中的第三层，通常比L1和L2缓存大，但访问速度稍慢。L3缓存友好的数据结构设计旨在最大限度地减少缓存未命中，从而提升性能。菜鸟：那这些数据结构有什么特点呢？老鸟：主要特点是数据局部性好，也就是说，数据在内存中是连续存储的，这样能更好地利用缓存行。我们可以从一个简单的例子开始，比如数组和链表的对比。老鸟：总结一下，L3缓存友好的数据结构通过提升数据局部性来提高性能。

自ChatGPT发布至今已近半年，一路走来，我们可以清楚地看到的一个趋势是，到了下半年，每位研究者都会拥有一个类似ChatGPT的模型。这种现象与当年BERT推出后，各种BERT变体层出不穷的情况颇为相似。实际上，我认为，这次ChatGPT的浪潮依然是一次技术迭代更新，不断推动我们迈向最终的AI目标。而之所以如此轰动，则是因为OpenAI只做了一个每个人都可以访问的网页，让大众体会到了最先进的科技

读完这份报告，我常常回想三十年前的科幻：《黑客帝国》、《数码宝贝》把数字世界描绘得既可怖又梦幻。今天那样的想象，正在一步步走进现实。数字世界，确实可能成为另一个五彩缤纷的“家园”。我常问自己：我能为AI的发展做什么？很多时候，答案像暗恋：远远注视、在它需要时伸手帮助，也许就足够了。这是我与 AI 的一种不言而喻的约定——既保持理性批判，又怀抱温柔的好奇心。

读完这份报告，我常常回想三十年前的科幻：《黑客帝国》、《数码宝贝》把数字世界描绘得既可怖又梦幻。今天那样的想象，正在一步步走进现实。数字世界，确实可能成为另一个五彩缤纷的“家园”。我常问自己：我能为AI的发展做什么？很多时候，答案像暗恋：远远注视、在它需要时伸手帮助，也许就足够了。这是我与 AI 的一种不言而喻的约定——既保持理性批判，又怀抱温柔的好奇心。

从早期单智能体的孤军奋战，到如今多智能体分工协作、长程记忆、自主反思的百花齐放，AI代理技术在短短两年内经历了飞跃式的发展。我们借助设计模式的视角，对多智能体系统的关键理念进行了梳理：角色扮演带来专家协作，议题协商保障信息共享与决策一致，记忆增强突破上下文局限，工具使用赋予行动能力，动态反思提升自主适应性。这些模式并非彼此孤立，而是常常综合在一个完整系统中共同发挥作用。例如AutoGen、CAME

当你读到“unbelievable”，你可以立刻意识到它是“un + believe + able”构成的，这种构词结构能让你快速理解它的意思。这个单位，就叫做 token，而设计这个单位的方式，就是 tokenizer。”，模型可能就要花更多精力才能拼凑出“哦，这是一个否定+动词+形容词构成的词”。我们可以看到，从语义结构最强的“句子”到最原始的“字节”，Tokenizer 划分的单位越小，信息

现在的大模型训练越来越深入每个组了，大规模集群系统也应用的愈发广泛。一般的slurm系统提交作业分为2种，一种是srun，这种所见即所得的申请方式一般适用于短期的调试使用，大概一般允许的时间从几个小时到1天左右，很多集群分组都会限制运行时长。而另一种sbatch，则是批量提交作业，当srun调试程序能够成功运行的时候，就可以使用sbatch提交。如何使用slurm可以参考之前写的《》以及《那么有没

3天前，OpenAI公布了一个新特性，那就是宣布用户可以自定义微调GPT-3.5 Turbo了。这意味着什么呢？这就意味着很多任务都可以先拿GPT-3.5 Turbo进行一个微调作为基准系统了。但是，需要注意的是，这里能够微调GPT-3.5 Turbo应该和之前能够微调GPT-3使用的是相似的技术，也就是参数高效的微调，不然每个用户光保存模型大小，即使是传言中的10B左右的模型，也是很难做到的。那

老鸟：想象一下你在写一篇文章，每隔一段时间你都会保存一份草稿。这样，如果你不小心写错了东西，你可以回到之前的某个草稿，重新开始写。这种保存和恢复的机制，就是备忘录模式的核心思想。菜鸟：哦，我明白了。就是保存某个状态，然后可以在需要的时候恢复这个状态，对吧？老鸟：没错！备忘录模式正是通过这种方式工作。接下来，我们用Python代码来逐步实现这个模式。老鸟：今天我们通过对话了解了备忘录模式的基本概念和