强化学习经典算法笔记(十三)：深度确定性策略梯度算法DDPG的pytorch实现一、DDPG算法的要点DDPG适用于连续动作空间的控制任务DDPG解决了DQN难以对连续动作估计Q值的问题确定性策略是指：在某个状态sts_tst​所采取的动作是确定的。由此带来了Bellman方程的改变。由Qπ(st,at)=Est+1∼E,at∼π[r(st,at)+γEπ[Qπ(st+1,at+1)]]Q^{\p

由于实验室的GPU集群是放在服务器上的，需要用SSH登录，之前没有接触过SSH，因此把摸索的过程记录下来，以备后用。Windows上安装SSH客户端我用的是Putty选择第一个框的64-bit下载，安装即可。登录远程服务器在右侧HostName处输入服务器IP地址，点击Open，进入之后输入username和password就成功了。向服务器传输文件...

机器学习与计算机视觉入门项目——视频投篮检测（二）一、手工特征与CNN特征在上一次的博客中，介绍了计算机视觉和机器学习的关系、篮球进球检测的基本问题和数据集的制作。这次的我们主要介绍如何从原始图像中提取有用的图像特征，以便应用于之后的分类器。如下图所示，我们现在要做的是Feature Extraction。在前DeepLearning时代，图像特征都是由人设计的，对于不同的图像如人...

更换国内源（中科大）sudo -secho -e "deb http://mirrors.ustc.edu.cn/raspbian/raspbian/ stretch main contrib non-free rpi \n deb-src http://mirrors.ustc.edu.cn/raspbian/raspbian/ stretch main contrib non-fre

Win10+Anaconda3环境下的OpenCV4.0-Python安装教程在OpenCV 3.0发布三年半之后，OpenCV 4.0终于发布了。我看了一下网上的教程都是利用Visual Studio对OpenCV源码进行编译的办法来安装的，繁琐不说，还容易出错。我尝试了一下用编译好的版本结合Anaconda3进行OpenCV4.0安装，完美支持Python2.7版本，对Python3，目前还.

我的Ubuntu系统又双叒叕崩溃了，卡在系统登录输密码的界面循环，似乎是更新了一下系统，和英伟达的驱动不兼容了。正好我的CUDA版本是8.0，支持不了高版本的TensorFlow，很难受，索性格式化系统，重新来一遍好了。现将整个过程记录在此，以备后查。正文开始从零开始搭建Ubuntu下的深度学习环境一、删除Ubuntu系统需要安装：分区助手 https://www.disktool.cn/...

目录策略梯度Policy Gradient原理与公式推导代码策略梯度Policy Gradient本文介绍策略梯度算法Policy Gradient在连续动作空间上的实例。以OpenAI Gym上的LunarLanderContinuous-v2游戏环境为例。原理与公式推导略，先挖坑代码import argparse, math, os, sysimport numpy as npimport g

强化学习系列文章(二十三)：AirSim Python API图像与图像处理1.simGetImage函数使用0号相机得到单张图像。返回值是PNG格式的图像。import airsim #pip install airsim# for car use CarClient()client = airsim.MultirotorClient()png_image = client.simGetImag

机器学习与计算机视觉入门项目——视频投篮检测（三）分类器的设计和选择几种损失函数Logistic回归基本原理损失函数Logistic回归的求解——梯度下降法损失函数的梯度计算在第二部分，我记录了实验中提取图像特征的HOG算子及其实现代码，我们接下来就要构造几个简单的分类器，对数据集的HOG特征来分类，实现进球/不进球的分类任务。分类器的设计和选择实验中要用到的分类模型主要有四个：logi...

最近在看MSRA的王井东研究员的《Interleaved Group Convolutions for Deep Neural Networks》。论文中多次提到群卷积这个概念，所以特地学习了一下群卷积。群卷积最早出现于AlexNet中。是为了解决显存不够的问题，将网络部署在两张GTX 580显卡上训练，Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少..