最近比较忙，好久没更新博客了。上一篇博客是关于对Imagenet数据集进行预处理的，虽然能给Tensorflow的后续训练提供数据，但是我觉得还是有改进的空间，主要包括了两点：数据集中还提供了很多图片的bounding box，这个bounding box是人工进行的标注，准确的标注了图片中对应类别的物体的具体位置。在之前的数据集预处理中没有包括这一部分。即使我们现在做的模型是做类别判断，...

我用Apexcharts这个JS库来作为图表的渲染。

最近用到Power BI来做数据报表的呈现，其中一个需求是，把数据展现在地图中，地图可以分级来进行聚合呈现，例如地图可以按照区域来进行指标的呈现，当点击区域的时候，可以进入到第二级，按照网格（例如100*100米）来进行呈现。这里我采用了Power BI的Mapbox控件来进行开发。记录一下整个过程1. 数据的准备这里用到的数据是车辆在业务使用过程中，消息收发的时延。在服务器端接收车辆上报的消息的

在上一篇博客中，我用Tensorflow的Agent库的DQN模型来对Atari的PONG游戏进行训练，效果很好。这次我打算测试一下回合策略梯度模型，看是否也能取得相同的效果。关于回合策略梯度算法的介绍，可以见我之前的另一篇博客强化学习笔记(5)-回合策略梯度算法_gzroy的博客-CSDN博客在TF-Agent里面，有一个ReinforceAgent，实现了回合策略梯度算法。这个Agent需要构

介绍了如何测试DeepSeek存在的一个安全威胁，以及对DeepSeek的国际象棋水平进行评估

介绍了如何在华为平台上部署DeepSeek，Open WebUI，Bge-Zh

用Huggingface来对大模型进行强化学习训练

详细讲述了如何根据InstructGPT论文来实现一个奖励模型

在我之前的博客中强化学习笔记(4)-深度Q学习_gzroy的博客-CSDN博客，实现了用Tensorflow keras搭建DQN模型，解决小车上山问题。在代码里面，需要自己实现经验回放，采样等过程，比较繁琐。Tensorflow里面有一个agents库，实现了很多强化学习的算法和工具。我尝试用agents来实现一个DQN模型来解决小车上山问题。Tensorflow网上的DQN教程是解决CartP

最近做的一个运营商的项目，用了Camunda的工作流引擎来进行任务的编排与执行，每隔15分钟会运行一个任务，获取大约800多个网元的过去一段时间的性能指标，并根据预先定义的规则表的指标判断规则，来识别网元是否有告警，每次任务运行时间都比较长，大概需要6到7分钟完成。除此之外，这个工作流引擎还有很多其他的任务会不定时的运行，整个引擎的负荷比较高。然后在最近一段时间内，频繁出现无法访问Camunda