当我们拥有大量计算资源时，通过使用合适的分布式策略，我们可以充分利用这些计算资源，从而大幅压缩模型训练的时间。针对不同的使用场景，TensorFlow 在 tf.distribute.Strategy 中为我们提供了若干种分布式策略，使得我们能够更高效地训练模型。一、单机多卡训练： MirroredStrategytf.distribute.MirroredStrategy 是一种简单且高性能的，

一、安装 Spark首先，我们来简单介绍一下如何在本地安装 Spark，以及用 Python 实现的 Spark 库——PySpark。Spark 的 job 都是 JVM（Java Virtual Machine）的进程，所以在安装运行 Spark 之前，我们需要确保已经安装 Java Developer Kit（JDK）。在命令行终端中输入：java -version如果命令行输出了某个 Ja

定义：对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样。实际上，下采样就是抽取。缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显

支持向量机是一个二分类的方法。所以对于非线性可分的数据，先对其进行升维，将它映射到一个高维度的向量空间中，在这个高维度的向量空间中，这些数据被转换成了线性可分的。这里之所以要将超平面定为1和-1，是因为这是一个标量，通过同时扩大或缩小w和b就能实现单位化。可以构造拉格朗日函数，转化为对偶问题求解。位于超平面H1、H2上的训练样本点成为支持向量。接下来是线性不可分的情况，所谓的线性...

回归树是决策树(采用“分而治之”的策略处理问题的一种方法)的特例。建模的因变量可以是数值型的，此时利用决策树处理回归问题；建模的因变量也可以是类别型的，此时利用决策树处理分类问题。决策树应用于回归问题时叫回归树，应用于分类问题时称为分类树。【决策树的主要优点】：模型具有可读性预测的速度快将自变量空间划分为J个矩形区域，一般采用一种自上而下、贪婪的方式：递归二叉分裂。自上而下指...

一、tmux# 查看有所有tmux会话指令：tmux ls# 新建tmux窗口指令：tmux new -s <session-name># 重命名会话指令：tmux rename-session -t <old-name> <new-name># 暂时退出会话（后台保持运行）快捷键：Ctrl+b 然后d# 重新连接会话指令：tmux a -t <sessi

从编写一个最简单的 多层感知机 （Multilayer Perceptron, MLP），或者说 “多层全连接神经网络” 开始，介绍 TensorFlow 的模型编写方式。在这一部分，我们依次进行以下步骤：使用 tf.keras.datasets 获得数据集并预处理使用 tf.keras.Model 和 tf.keras.layers 构建模型构建模型训练流程，使用 tf.keras.losses

Spark 有什么缺点？这个缺点我们之前已经提到过一个——无论是 Spark Streaming 还是 Structured Streaming，Spark 流处理的实时性还不够，所以无法用在一些对实时性要求很高的流处理场景中。这是因为 Spark 的流处理是基于所谓微批处理（Micro-batch processing）的思想，即它把流处理看作是批处理的一种特殊形式，每次接收到一个时间间隔的数据

SGD、Momentum、NAG和AdaGrad这篇讲的很好RMSProp、Adam这篇讲的很好这篇可以看看递推

定义：对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样。实际上，下采样就是抽取。缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显