方案 1方案 2flume-1.9.0-binhadoop-2.7.7hbase-1.4.13hive-2.3.6-binjdk1.8.0_241spark-2.4.5-bin-hadoop2.7sqoop-1.4.7tez-0.9.2-binzookeeper-3.5.7-binkafka_2.11-2.4.1方案 3Hadoop3.1.3Flume1.9.0Kafka2.4.1Hive3.1.

目录概述代码实战All DataFrames above result same.提交参考资料概述这是PySpark DataFrame API的简短介绍和快速入门。PySpark DataFrames延迟评估。它们是在RDD之上实现的。当Spark转换数据时，它不会立即计算转换，而是计划以后如何计算。当 明确调用诸如之类的动作时collect()，计算开始。该笔记本显示了主要面向新用户的Data

目录概述性能调优减少批处理时间数据接收中的并行度容错语义自定义接收器如何在Spark流中实现精确语义与幂等写入恰好一次与事务写入完全一致实现-zookeeper实现-hbase实现方式-mysql概述Spark Streaming是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。数据可以从像卡夫卡，室壁运动，或TCP套接字许多来源摄入，并且可以使用与像高级别功能表达复

目录概览框架设计核心架构代码实战参考资料概览​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。datax_why_new设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。

AbsoluteErrorLogLossLossLossesSquaredError

AFTSurvivalRegressionDecisionTreeRegressorGBTRegressorIsotonicRegressionLinearRegressionRandomForestRegressorGeneralizedLinearAlgorithmGLMRegressionModelIsotonicRegressionLabeledPointLassoLinearRegres

correlationCorrelationPearsonCorrelationSpearmanCorrelationdistributionMultivariateGaussianKernelDensityMultivariateOnlineSummarizerMultivariateStatisticalSummaryKolmogorovSmirnov

感知器神经网络（ Perceptron Neural Network ）反向传递（ Back Propagation ） Hopfield 网络自组织映射（ Self-Organizing Map, SOM ）学习矢量量化（ Learning Vector Quantization ， LVQ ）

BinarizerBucketizerChiSqSelectorCountVectorizerDCTElementwiseProductHashingTFIDFInteractionMinMaxScalerNGramNormalizerOneHotEncoderPCAPolynomialExpansionQuantileDiscretizerSQLTransformerStandardScaler

Basic Linear Algebra SubprogramsCholeskyDecompositiondistributedBlockMatrixCoordinateMatrixDistributedMatrixIndexedRowMatrixRowMatrixEigenValueDecompositionMatricesSingularValueDecompositionVectors