examples文件夹下分析rag_pipeline.py用到的类RAGExample。

训练时：1. 把前一个block中input tokens经过embedding layer和transformer block的输出，进入output head之前的内容记为h，与下一个block的input tokens经过embedding layer输出的内容都经过rmsnorm后concat 再送入projection和block。这是causal chain的连接关系，在embeddi

对于llm 如果max_model_len不能承受更多的话，需要修改metagpt\provider\openrouter_reasoning.py对于rag案例：需要修改metagpt\rag\schema.py。

一般来说，很多厂商的给的SDK demo都名目繁多，比如华为的昇腾推理的示例超级多，并且超级乱，cann samples还有mindx，谁看谁迷糊，有机会一定要问，提issue或者观察一下人家写的和自己内部要兼并的SDK有无共同之处。如果有一些对齐变量的需求，比如格式转换，图片格式，变量格式等等，一般厂商提供的某个相关的库里会有用到的函数，注意版本如果不是最新，翻看最新的版本文档。比如python

从debate函数开始看。

已计算3token] [缓存4token] [新6token] [块1:3token] [块2:4token] [块3:4token] [块4:2token][已计算8token] [新3token] [预分配] [块1:4token] [块2:4token] [块3:3token] [块4:空][已计算6token] [新5token] [块1:4token] [块2:4token] [块3:3

由前面的图可知 每个worker内部的工作都是让model_runner去做初始化：_initialize_model 函数 一个key（hf类），然后它会去找这个key在vllm中对应的python class实现（vllm类），最终用这个vllm类做实例化。利用registry.py 建立这样一个key->value的mapping关系加载模型参数：load_weights 函数self._g

从debate函数开始看。

examples文件夹下分析rag_pipeline.py用到的类RAGExample。

一般来说，很多厂商的给的SDK demo都名目繁多，比如华为的昇腾推理的示例超级多，并且超级乱，cann samples还有mindx，谁看谁迷糊，有机会一定要问，提issue或者观察一下人家写的和自己内部要兼并的SDK有无共同之处。如果有一些对齐变量的需求，比如格式转换，图片格式，变量格式等等，一般厂商提供的某个相关的库里会有用到的函数，注意版本如果不是最新，翻看最新的版本文档。比如python