当智能体能够观察到环境的所有状态时，称为完全可观测环境。

现在，我们希望通过训练一个较小的学生网络，使得学生网络也能输出类似的概率分布。这种蒸馏的过程有助于提高学生网络的性能，尤其是在资源受限的情况下，通过借助大模型的知识来训练小模型，实现性能的平衡。总体而言，patch之间的关系被认为是包含了图像语义信息的一种表达方式，因此通过学习这种关系，可以有效地捕捉到图像中的特征和结构，提高了蒸馏方法的性能.与其他适用于视觉transformer的蒸馏方法相比，

这个开源项目是带我的一个导师，推荐我看的，记录一下整个过程，总结一下收获。这个项目的slogan是“大道至简”，确实很简。作者说是这个项目为了帮助初学者快速入门大语言模型（LLM），通过从零开始训练一个仅26MB的微型语言模型MiniMind，最快可在3小时内完成。降低学习LLM的门槛，让更多人能够轻松上手。MiniMind极其轻量，约为GPT-3的1/7000，适合普通个人GPU进行快速推理和训

深度学习笔记——2.4、向量化

MRR更关注第一个相关结果的位置，适合需要快速找到答案的场景。Hits Rate则关注前k个返回结果中是否包含相关文档，适合衡量系统在给定返回数量内找到相关文档的能力。NDCG则进一步关注结果的排序和相关性，是衡量整体检索质量的综合性指标。

总的来说,原来实例语义分割一般来说使用在per-pixel分类.然而实例分割一般使用mask classification.但是在本文中本文作者的观点是：mask classification完全可以通用，即可以使用完全相同的模型、损失和训练程序以统一的方式解决语义和实例级别的分割任务。