在某些场景中需要对list中的元素进行分组，并且在多次分组过程中同一个元素需要固定分配在某一个组中，通常的想法是固定随机数种子以后使用random进行随机抽取，但是当list中的元素的数量或者位置发生改变时同一个元素的组别就会发生变化，示例如下：import randomrandom.seed(2022)test1 = [1,2,3,4,5,6,7,8,9,10]res1 = random.sam

特征选择一个样本会有多个特征，例如西瓜包括纹理、颜色、甜度等特征，特征选择的意义即在于原始特征集合中选择一个子集，使得模型效果最好，例如在西瓜的纹理、颜色、甜度、根蒂等原始特征中选择纹理和颜色两个特征子集，去除冗余信息。一句话总结：在原始特征集合中选取特征子集。特征抽取特征抽取是将原始特征空间映射到新的特征空间，例如从三维空间映射到二维空间，其目的在于使用较少的特征来表示原始特征空间中的绝大...

最近遇到mysql数据库报错：ERROR 1030 (HY000): Got error 28 from storage engine的问题，这个问题是由于Mysql临时空间目录下可以空间不足造成的，折腾了好久，现在记录一下完整过程1）查看Mysql临时空间目录命令行连接Mysql后执行以下命令：show variables like '%dir%';出现以下界面：basedir | /usr/l

小白对于BERT细节的一点理解工作以后跟着同事学习NLP相关内容，之前的一些层归一化、归一化等相关知识还不牢固，希望在周末闲暇时间多多弥补，最近看了BERT的相关内容，在此对其进行记录整理，以便于日后复习回顾，记录有不正确的地方，还请指出。初相识最初在博客看过对于BERT的讲解，阅读原始论文，发现BERT主要包括以下三点内容：1、使用Transformer的进行双向训练。2、输入向量包括...

最近在工作过程中经常在Echarts官网的实例中进行可视化编辑，但是又只是简单了解一点点点点的前端代码，每次遇到需要修改字体等要求时都需要去查询修改方式，索性在此处记录下便于以后查找使用。以Echarts官网中的柱状图（）为例：...

1、安装kafka的python包pip install kafka-python2、异步发送kafka数据import jsonfrom kafka import KafkaProducer, KafkaConsumerproducer = KafkaProducer(bootstrap_servers=['xx.xx.xx.xx:xxxx']) # 此处传入kafka的地址和端口msg = j

当无意间在git中上传了敏感信息后，需要将代码文件（包括历史提交记录）删除，小白折腾了好半天，在此记录。1）首先将Git中的代码clone至本地打开终端# clone代码至本地mkdir gitlab（自己自定义文件夹名字）cd gitlabgit clone xxxxxxx(代表gitlab中的路径)2）切换分支假设gitlab中的工程名字为“project”，将Git中的代码clone至本地后

在日常工作生活中经常会遇到统计一个列表中不同区间的数值数量的问题，在此记录一下如何使用python进行统计import randomimport pandas as pdscore = [random.randint(0,10) for i in range(100)] # 此处随机生成一个数值列表score = pd.Series(score)se1 = pd.cut(score, [0,1,2

使用pytorch训练和预测时会分别使用到以下两行代码：model.train()model.eval()后来想了解model.eval()的具体作用，在网上查找资料大都是以下原因：模型中有BatchNormalization和Dropout，在预测时使用model.eval()后会将其关闭以免影响预测结果。没有看到BN和Dropout是具体如何影响预测结果的，直到看到这篇博客中的内容才有所理解，