本文是长期学习总结笔记，文中图片摘自寒小阳老师上课讲义。数据格式化数据量不大，可以存文本，数据库数据量大，放集群hadoop上：hive表，hdfs文件数据清洗数据缺省如果缺值的样本占总数比例极高，我们可能就直接舍弃了，作为特征加入的话，可能反倒带入noise，影响最后的结果了如果缺值的样本适中，而该属性非连续值特征属性(比如说类目属性)，那就把Na

Spark框架是使用Scala函数式编程语言开发的，支持Java编程，Java与Scala可以互操作。此外，Spark提供了Python编程接口，Spark使用Py4J实现Python与Java的互操作，从而可以使用Python编写Spark程序。Spark还提供了一个Python_Shell，即pyspark，从而可以以交互的方式使用Python编写Spark程序。有关Spark的基本架构介绍

深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。入门级必从SGD学起，老司机则会告诉你更好的还有AdaGrad/AdaDelta，或者直接无脑用Adam。可是看看学术界的最新paper，却发现一众大神还在用着入门级的SGD，最多加个Moment或者Nest

激活函数激活函数的主要作用是提供网络的非线性建模能力，分层的非线性映射学习能力。几乎所有的连续可导函数都可以用作激活函数，但目前常见的多是分段线性和具有指数形状的非线性函数。sigmoidsigmoid(x)=11+e−x,sigmoid′(x)=sigmoid(x)(1−sigmoid(x))sigmoid(x)=\frac{1}{1+e^{-x}},sigmoid^{'}(x)=sigmoid

激活函数激活函数的主要作用是提供网络的非线性建模能力，分层的非线性映射学习能力。几乎所有的连续可导函数都可以用作激活函数，但目前常见的多是分段线性和具有指数形状的非线性函数。sigmoidsigmoid(x)=11+e−x,sigmoid′(x)=sigmoid(x)(1−sigmoid(x))sigmoid(x)=\frac{1}{1+e^{-x}},sigmoid^{'}(x)=sigmoid

为脑残的面试问题而生，哈哈~（1）LR为什么不可以用MSE作为损失函数MSE 会有梯度消失现象MSE 的导数非凸函数，求解最优解困难

近几年大模型技术发展得如火如荼，很多人都尝试让大模型帮助自己提效，包括写文案、生成宣传语、写小说等等，这些都是语言大模型非常擅长的文本生成能力。除此之外，大模型圈还有一些比较炫酷的应用，包括多模态交互应用、面向应用的MCP功能插件等。本文主要给大家展示一些能在日常工作中帮助到大家的文生图、文生视频、文生PPT功能。为了展示以上各功能，需要借助3个大模型平台，包括deepseek、siliconfl

1.单变量分析from sklearn.feature_selection import SelectPercentilefrom sklearn.datasets import load_breast_cancerfrom sklearn.feature_selection import SelectPercentile#http://scikit-learn.org/stable/modul

强大的sklearn库可以解决的问题：train_test_split返回切分的数据集train/testtrain_test_split(*array,test_size=0.25,train_size=None,random_state=None,shuffle=True,stratify=None)*array：切分数据源（list/np.array/pd.DataFra...

常见架构：C/S架构：Client/Server(客户端/服务器)结构需要服务器端部署；用户单独安装客户端，客户端软件升级，服务器端要为每个用户服务！！！可以单机不连网使用。B/S架构：Browser/Server(浏览器/服务器)结构需要服务器端部署；浏览器访问；服务器端负责全部逻辑；升级方便；必须连网使用。CS/BS本质相同，都是客户端与服务器通信，只是表现为不同的形式，