一、Spark数据分区方式简要在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。这里可将RDD看成一个非常大的数组，其中Partition是数组中的每个元素，并且这些元素分布在多台机器中。图一中，RDD1包含了5个Pa

运行flink scala 程序报错：Exception in thread "main" java.lang.NoSuchFieldError: MODEat org.apache.flink.streaming.api.environment.StreamExecutionEnvironment.createLocalEnvironment(StreamExecutionEnvironm...

Flink 提交任务访问HDFS报错UnsupportedFileSystemSchemeException 错误信息如下：Could not find a file system implementation for scheme ‘hdfs’. The scheme is not directly supported by Flink and no Hadoop file system to

Exception in thread “main” java.lang.AbstractMethodError: org.apache.flink.streaming.api.graph.StreamGraph.getJobGraph()Lorg/apache/flink/runtime/jobgraph/JobGraph;at org.apache.flink.streaming.api.e.

意思是：该主机状态为待机,不支持操作类别READ.出错的是hadoop的hdfs。你会发现最基本的hdfs命令都不能执行，例如：hadoop fs -ls /自定义的是nn1还是namenode1等自定义名可以在配置文件hdfs-site.xml中查看：<property><name>dfs.ha.namenodes.mycluster</name><va

JDBC连接：Oracle 的时候报错这里出现问题的原因是JDBC连接字符串中ip地址填写错误，将ip地址填写正确即可

运行Flink程序报错：java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)[Ljava/lang/Object;at com.ruozedata.bigdata.SocketWCApp$.$anonfun$main$1(SocketWCApp.scala:33)at com.ruozedata.bi

运行Flink程序报错，具体信息如下：org.apache.flink.runtime.resourcemanager.exceptions.UnknownTaskExecutorException: No TaskExecutor registered under container_1603071676168_0204_01_000002.at org.apache.flink.runtime

机器学习：利用计算机从历史中找规律，并把这些规律用到对未来不确定场景的决策机器学习简单分类：可以分为 监督学习、无监督学习、半监督学习分类、聚类、回归生成模型（给出数据属于各个类别的概率）、判别模型（给出数据所属于的类别）机器学习和数据分析的区别:数据特点：交易数据（订单） VS 行为数据（点击历史）少量数据 VS 海量数据采样分析 VS 全量分析训练数据/验证数据/测试数据建模之前把数据分成三个

运行Flink程序报错，具体信息如下：org.apache.flink.runtime.resourcemanager.exceptions.UnknownTaskExecutorException: No TaskExecutor registered under container_1603071676168_0204_01_000002.at org.apache.flink.runtime