背景需要把txt文件数据导入mysql数据库，中间需要经过一些数据处理，在经过相关查找后，pandas自带的to_sql()，可以实现把DataFrame直接导入数据库。虽然mysql有其他的方式导入数据，但是在导入前需要对数据进行一些处理，这些任务无法完成，所以可以借助python来一步实现所有需求。pandas在处理表格数据有很多优点：API多比较方便、速度快；可循环每行，对每个值进行处...

背景数据分列在数据处理中很常见，数据分列一般指的都是字符串分割，这个功能在Excel里面很实用，处理数据非常方便，那么在pandas数据框中怎么使用呢，今天这篇文章就来详细介绍下分列模拟数据以下面这9行数据作为案例来进行处理模拟数据读取数据#加载库import pandas as pd#读取数据data=pd.read_excel('data.xlsx')...

在上一篇文章《基于DeepSeek，构建个人本地RAG知识库》中用到了streamlit库，于是小编初步深入了解了一下，感觉很好用，是数据人的一个好帮手，避免学习前端知识，利用该库直接在 Python 中编码代码，然后启动服务后，在浏览器中可以直接查看 web 页面，省略了后端、前端构建 web 的繁琐过程，数据人可以直接把自己的数据以 web 形式展示出来。

统计里面的卡方检验卡方检验主要是用来进行 分类变量(离散变量)的关联性、相关性分析，其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。在统计学里面最经典就是四方格检验，下面列举一个例子，让大家对卡方检验有一个真实的认识：现在我们有一些样本，每个人是否喝牛奶，以及是否感冒，形式如下(只截图了一部分)，现在我们想知道，是否喝牛奶 对 是否感冒有影响，根据我们的常识判断，喝牛奶可以...

背景最近项目需要用人脸检测技术把视频里面的人脸检测出来后，进行马赛克处理，人脸检测这一块就是大家熟知的利用深度学习技术来解决，之前有相关文章介绍《Python 人脸检测方法总结》，这篇文章主要介绍马赛克处理过程。马赛克原理图片是由一个三维数组，打马赛克就是把特定区域的值替换为其他值，项目在做的过程中经过一次升级，最开始用的是高斯马赛克，后来应客户的要求，升级为和其他软件手工打的马赛克一样的样式正规

经过一段使用DeepSeek后，感觉使用体验和ChatGPT基本差不多，问答问题的质量略有提升，因DeepSeek已开源，它的模型、模型权重参数从网上都可以下载到，所以可以基于开源的模型，在本地构建一个自己的知识库，小编这里使用的是蒸馏后的模型权重RAG （Retrieval-Augmented Generation）检索增强生成，是一种通过整合外部知识库来增强大模型（LLM）回答问题质量的模式。

背景在计算相似度时，常常用到余弦夹角来判断相似度，Cosine（余弦相似度）取值范围[-1,1]，当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1，两个方向正交时夹角余弦取值为0。cos(x1,x2)=x1⋅x2∣x1∣∣x2∣cos(x_1,x_2)=\frac{x_1·x_2}{|x_1||x_2|}cos(x1​,x2​)=∣x1​∣∣x2​∣x1​⋅x

背景在计算相似度时，常常用到余弦夹角来判断相似度，Cosine（余弦相似度）取值范围[-1,1]，当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1，两个方向正交时夹角余弦取值为0。cos(x1,x2)=x1⋅x2∣x1∣∣x2∣cos(x_1,x_2)=\frac{x_1·x_2}{|x_1||x_2|}cos(x1​,x2​)=∣x1​∣∣x2​∣x1​⋅x

小编在刚开始学习Python时，是在Python官网下载的原生版本，用的是自带的编码环境，后来了解到在数据分析、数据科学领域用Jupyter notebook比较好，于是直到现在也是一直在用Jupyter notebook，也偶尔用PyCharm做开发。在数据分析与处理中Jupyter notebook还是很方便，可以直接查看数据，可以写文档，可以画图 等很多优点，感觉Jupyter notebo

背景介绍自然语言处理（NLP）在深度学习领域是一大分支（其他：CV、语音），经过这些年的发展NLP发展已经很成熟，同时在工业界也慢慢开始普及，谷歌开放的Bert是NLP前进的又一里程碑。本篇文章结合Bert与Lstm，对文本数据进行二分类的研究。需要的第三方库pandasnumpytorchtransformerssklearn以上这些库需要读者对机器学习、深度学习有一定了解数据及预训练Bert预