快速入门学习自动驾驶决策端到端深度强化学习Carla实战项目本课程是为了帮助大家快速入门强化学习和学会应用深度强化学习进行单智能体的算法开发。鉴于网上有许多开源的强化学习理论基础的视频，而且许多项目都是基于gym游戏进行开发的简单项目，并未涉及使用前沿的carla环境等自动驾驶仿真环境进行强化学习开发与讲解，所以本课程着重从模态化的单智能体的深度强化学习入手，以实战项目为驱动进行学习，并设立有学习

一定要注意解压文件是在.autoware/路径下的，不然后续运行launch文件时，会提示找不到文件：.autoware/data/tf/tf.launch:修改run脚本，改为正确source路径为了防止警告，找到‘state_publisher’并用‘robot_state_publisher’去代替它。

代码：https://github.com/jwyang/faster-rcnn.pytorch/tree/pytorch-1.0。

网上大部分是关于tensorflow，使用pytorch的比较少，本文也在之前大佬写的的基础上，进行了数据集的完善，和代码的优化，效果可比之前好一点。

参考原始代码：https://github.com/tensorflow/models/tree/master/research我用的是1.x的版本所以环境必须有gpu版本的tensorflow，训练才快。（1）原始数据集必须有jpg图片和对应的xml文件。（4）以上操作都是对训练数据集，验证数据集同时操作：因为项目只有一种类别，所以长这样。若有多个则继续往后加。我这里选择ssd_mobilene

这个deepmdp的目的，就是解决Carla_DRL中，sac等算法不加vae直接输入原始图像无法训练出很好的拟合效果的问题，所以加了一个deepmdp+sac算法的工程，这个工程可以用来跑顶会论文的baseline。单进程的RL的训练版本之一，目前主要包括三个场景，点到点导航，鬼探头，急刹车，其他场景都可以自行创建。目前Carla_DRL有三个版本，v3.0是最新的，点进去可以看到代码，下载或者

这里使用官方的yolov5.60进行训练，yolov5的好处就是使用起来便利，只要定义好数据集格式，加上硬件不差，基本上可以跑出来。这里以遥感图像目标检测为例子进行实战。

目前目标检测算法有很多，流行的就有faster-rnn和yolov，本文使用了faster-rnn框架进行训练，效果还不错，准确率，当然也可以使用更高版本的Yolov进行实战。

1.Carla停车场场景的搭建，我们可以利用现成的API，在Town05搭建停车场。具体来说，我们可以在目标停车位两边放静态车辆，再难点就是在周围放随机运动的行人，来模拟停车场的动态环境。2.可以搭建更困难的场景，让传统的SAC几乎失效（到达不了终点），然后自己提出的方法可以到达终点。2.深度强化学习的训练，我们可以选用常用的SAC算法进行训练，训练的效果可以如视频所示。SAC的输入观测是后视角的

钢材缺陷检测-基于yolov5算法和qt界面