BERT是Google在2018年提出的自然语言处理预训练模型。其基础框架完全基于Transformer架构中的编码器部分。BERT的核心在于采用深度双向训练机制，通过在预训练阶段联合利用左右两侧的上下文信息来生成深度的双向语言表征。BERT通过两个预训练任务完成训练：掩码语言模型随机掩盖部分输入词并让模型根据上下文进行预测，以及下一句预测判断两个句子间的逻辑关系。

当我们尝试向朋友描述一朵花时，若逐一列举其萼片长度5.7厘米、宽度2.8厘米、花瓣长度4.5厘米及宽度1.3厘米等繁琐的细节，对方可能难以理解我们索要表达的重点。那么我们能否找到一种更简洁的方式，在保留花朵核心特征的同时简化描述。这就是数据降维所要解决的实际问题。在机器学习中，面对成百上千个特征的高维数据，过多的维度会拖慢计算效率，并可能导致“维度灾难”——即数据在高维空间中过于稀疏，使模型难以学

NumPy是Python科学计算的核心库。因为机器学习模型处理的数据本质上是数值型的，所以我们需要可以进行高效的数据表示与计算的工具。NumPy 的数组在内存中连续存储，并且其底层运算由 C 语言实现，使得其数值计算速度极快。NumPy 提供了简洁一致的语法为机器学习算法处理海量数据提供了必需的性能和基础结构。

在上一章中我们Numpy库中的数组元素有了基本的认识，博主将和大家在这一章里学习如何去操作修改这些数组元素。

在上一篇文章中，我们学习了Python科学计算的核心库Numpy，在本章中我们将学习机器学习中负责数据处理和分析的Pandas库。Pandas是一个用Python编写的数据分析库，可以轻松处理数百万行数据，是AI工程师最常用的工具。

本章我们正式开使学习机器学习，首先我们要认识一个机器学习中最基本的算法：K-近邻（KNN）算法是一种直观的、基于实例的经典机器学习方法。简单来说，要判断一个新样本的类别，需考察它在特征空间中距离最近的K个已知样本的类别，并遵从多数邻居的类别进行归属。该算法不需要显式训练，直接存储数据，预测时通过计算距离（如欧氏距离）来寻找最近邻；而K值的选择至关重要，过小易受噪声干扰，过大则可能模糊边界。

线性回归是一种通过建立自变量与因变量之间的线性关系来进行预测的统计模型。其基本形式可以表示为：y = β₀ + β₁x₁ + β₂x₂ + … + βₙxₙ + ε。在方程中，y代表因变量（即我们希望预测的连续值），x₁, x₂, …, xₙ代表一系列自变量（用于预测的特征），β₀, β₁, …, βₙ是模型的参数，其中 β₀为截距，其他β值代表每个特征对目标值的影响权重，而ε则代表误差项，用于捕

房产？/ \无 有/ \车辆？可以贷款/ \无 有/ \不可贷款 车收入？/ \>30万 <30万/ \可以贷款 不可贷款这个树告诉我们有房产的直接可以贷款，没房产但有车的，则是由收入决定的，没房产也没车的，不能贷款。

1.运行安装程序，接受协议2.选择自定义安装3.取消勾选“Visual Studio Integration”

随机森林是一种集成学习算法，其核心是结合“决策树”、“Bagging”和“随机特征选择”三项技术。它通过自助采样法构建多棵决策树，每棵树不仅基于数据的随机样本进行训练，而且在每个节点分裂时只考虑特征的一个随机子集。这种双重随机性确保每棵树具有差异性。最终，对于分类任务通过投票、对于回归任务通过取平均值的方式，汇总所有树的预测结果，从而获得比单棵决策树更准确、更稳定的模型，并且可以有效防止过拟合。