直接学习干净序列，模型是在**“死记硬背答案”

状态价值函数 Vπ(s)V_{\pi}(s)Vπ​(s) 用来衡量在状态 sss 下，遵循策略 π\piπ 时，代理（agent）从该状态出发能获得的期望回报。定义：Vπ(s)=E[∑t=0∞γtrt∣s0=s,π]V_{\pi}(s) = \mathbb{E} \left[ \sum_{t=0}^{\infty} \gamma^t r_t \mid s_0 = s, \pi \right]Vπ​

线性层权重矩阵维度解释

嘉立创EDA（专业版）快速使用指南（一）