∗argθmax​Jθ​​whereJθ​Eτ∼pθ​τ​t1∑H​rst​at​N1​i∑​t∑​rsti​ati​∫pθ​τrτdτ​​•τs1​a1​s2​a2​sH​aH​•pθ​τρs1​∏t1H​πθat​∣st​Pst1​∣st​at​Jθ​∫∇。