前言：这两天做了一个故障检测的小项目，从一开始的数据处理，到最后的训练模型等等，一趟下来，发现其实基本就体现了机器学习怎么处理数据的大概流程，为此这里记录一下！供大家学习交流。本次实践结合了传统机器学习的随机森林和深度学习的LSTM两大模型关于LSTM的实践网上基本都是利用了Mnist数据集，但是其他方面的很少，这里我们就来看一下其在本问题的分类效果依次从如下六部分介绍，程序运行顺...

本文主要目的是通过一段及其简单的小程序来快速学习python 中sklearn的RandomForest这一函数的基本操作和使用，注意不是用python纯粹从头到尾自己构建RandomForest，既然sklearn提供了现成的我们直接拿来用就可以了，当然其原理十分重要，下面最简单介绍：集成学习是将多个模型进行组合来解决单一的预测问题。它的原理是生成多个分类器模型，各...

       本文主要目的是通过及其简单的小程序来快速学习python 中sklearn的DecisionTreeClassifier这一函数的基本操作和使用，注意不是用python纯粹从头到尾自己构建DecisionTreeClassifier，既然sklearn提供了现成的我们直接拿来用就可以了，当然其原理十分重要，这里仅给出最核心部分：1）树以代表训练样本的单个结点开始。2）如果样本都在同一

通过本篇我们快速学习了如何使用Qwen2-VL来训练自己的业务，如果大家有类似的需求，可以动手尝试啦～，快去试试吧！咱们下期再见！

前言最近做了很多数据清洗以及摸底的工作，由于处理的数据很大，所以采用了spark进行辅助处理，期间遇到了很多问题，特此记录一下，供大家学习，。由于比较熟悉python, 所以笔者采用的是pyspark，所以下面给的demo都是基于pyspark，其实其他语言脚本一样，重在学习思想，具体实现改改对应的API即可。这里尽可能的把一些坑以及实现技巧以demo的形式直白的提供出来，顺序不分先后。有了这些d

本文主要目的是通过一段及其简单的小程序来快速学习python 中sklearn的RandomForest这一函数的基本操作和使用，注意不是用python纯粹从头到尾自己构建RandomForest，既然sklearn提供了现成的我们直接拿来用就可以了，当然其原理十分重要，下面最简单介绍：集成学习是将多个模型进行组合来解决单一的预测问题。它的原理是生成多个分类器模型，各...

前言先说一下写这篇文章的动机，事情起因是笔者在使用pytorch进行多机多卡训练的时候，遇到了卡住的问题，登录了相关的多台机器发现GPU利用率均为100%，而且单卡甚至是单机多卡都没有卡住的现象，这就非常奇怪了。于是乎开始搜索相关的帖子，发现很多帖子虽然也是卡住话题，但是和笔者的情况都不一样，最后开始去查一些国外的帖子以及pytorch github issue等等，发现了类似问题，而且这个问题确

前言：情感分析也是nlp常见的任务之一，这里单独开一篇博客，来罗列一些最新的研究论文，供学习EMNLP 2021 情感分析论文汇总https://mp.weixin.qq.com/s/EA_e2LpFwxMzMgegz7Sq1A欢迎关注笔者公众号，定期更新一些工程上的trick或者前言paper以及代码解读：...

通过本篇我们快速学习了如何使用Qwen2-VL来训练自己的业务，如果大家有类似的需求，可以动手尝试啦～，快去试试吧！咱们下期再见！

如何得到高质量的SFT数据？