L−kt∑​Qkt​logπskt​akt​主要奇怪于为什么突然冒出来log。尽管物理意义上我比较容易理解，反正就是鼓励Q值大的动作，打压Q值小的动作。但是还是比较较真其推导是如何来的。今天参考了DeepSeek的回答，加上一些自己的心得体会，用博客记录下。

前言之前参加深度学习比赛的时候，对计算机视觉有一些小小的积累。 虽然不足道， 但是还是记录一下， 以便以后碰到这方面的岗位问题时， 可以有一些展示的东西。 之前参加了华为赞助的一个汉字识别大赛， 要求通过神经网络，识别出图片中的汉字。 其中每张图片的汉字数量不一。 我这里先采用了 CRNN的方法， 这篇博文记叙一下。代码本文的代码全部分享于 github。已经配备了简单的训练集和验证集作为示例，

文章目录前言第五章 Q-learning 和 贝尔曼方程贝尔曼方程Value of Action 动作的价值一个简单的例子值迭代算法V值迭代算法Q值迭代算法实例： FrozenLake中的值迭代算法collection.defaultdict总结前言重读《Deep Reinforcemnet Learning Hands-on》， 常读常新， 极其深入浅出的一本深度强化学习教程。 本文的唯一贡献是

本文地址：Generative Adversarial Estimation of Channel Covariance in Vehicular Millimeter Wave Systems文章目录前言文章中心思想系统模型信道模型网络相关稀疏变换网络模型具体网络设计：生成器判别器仿真结果前言深度通信网络专栏: 快速上手： 2018-2019年最新深度学习用于无线通信（物理层）的论文...

本文地址：https://arxiv.org/abs/1804.02276前言深度通信网络专栏|自编码器: 整理2018-2019年使用神经网络实现通信系统自编码器的论文，一点拙见，如有偏颇，望不吝赐教，顺颂时祺。文章中心思想原来的自编码器采用监督学习，需要一个可微分的信道模型，信道函数必须已知，这种情况下训练出来的模型，如要应用，实际信道应该与训练时的信道相近。为保证性能，现常常采用线下...

前言最近接触到这个问题， 看了一些相关的资料，觉得维基百科的介绍是最为精炼详实的， 以这篇笔记翻译了一下， 也供自己查阅所用。矩阵补全顾名思义， 矩阵补全就是指将一个部分元素已知的矩阵的缺失值补全的问题。 这个问题的著名背景是美国的视频公司Netflix提出了这样的问题， 给出一个矩阵，其每行代表一个用户， 每列则代表用户所看过的电影。 这样一个矩阵的维度是非常庞大的， 因此Netflix公司希望

用multiprocessing库的map方法实现多进程from multiprocessing import Pooldef f(x):return x*xif __name__ == '__main__':with Pool(5) as p:print(p.map(f, [1, 2, 3]))这是官网的示例。Pool(5)中的5指的是要开的进程数。p.map()的用法就是， 输入两个参数， 第

矢量求导的微分法则： 链式法则介绍核心原理矢量求导矩阵求导链式法则介绍这篇博文推导了矢量情形下， 标量函数对矢量进行求导的微分法则，从定义出发推导了链式法则的形式。核心原理核心原理：标量情形下， 由中学的标量求导知识可知，忽略泰勒展开高次项，有： Δf(x)=f′(x)Δx \Delta f(x) = {f^{'}}(x) \Delta x Δf(x)=f′(x)Δx即， 函数变化量 ...

文章目录前言OFDM的数学实现： FFTOFDM与DFT循环前缀前言在上一篇中， 我们详细讲述了OFDM的重要概念： 【通信原理| OFDM技术的最简讲解（上）】窄带、宽带与频分复用、多载波调制的讲解:宽带和窄带： 宽带的多径干扰是OFDM技术的应用背景。多载波复用： OFDM的本质内核本篇我们填坑，把上篇未讲完的OFDM的具体实现详细说明一遍。OFDM的数学实现： FFT早在70年代就已被提出的

在进入5G热门研究技术：混合波束赋形的介绍之前， 笔者想先以这篇文章深入浅出的介绍5G，大规模MIMO以及波束赋形等概念的直观理解。旨在用最浅显的语言，尽可能让零基础的读者也能轻易的掌握其本质，从而为后续对最新混合波束赋形算法的讨论打下坚实的基础。