logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink小计(二)-----Flink运行架构

目录一、Flink 运行时的组件二、任务提交流程三、任务调度原理四、思考4.1 并行度(Parallelism)4.2 TaskManager 和 Slots4.3 并行子任务的分配4.4 程序与数据流(DataFlow)4.5 执行图(ExecutionGraph)4.6 数据传输形式4.7 任务链(Operator Chains)一、Flink 运行时的组件作业管理器(JobManager)任

#flink#大数据#hadoop
Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in th

问题:Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIXmust be set or hadoop must be in the path原因:hive的hive-env.sh没有配置hadoop环境变量

#大数据#hadoop#hive
BP神经网络算法

1.基本思想先上一个图Layer1为输入层,x1,x2,x3表示一个样本里的每个特征;Layer2为隐藏层当然,隐藏层可以不止一层,在神经网络中,输入层与输出层之间的层称为隐含层或隐层,隐层和输出层的神经元都是具有激活函数的功能神经元;Layer3为输出层,输出值更大的对于类别作为预测label。人工神经网络结构有以下特点:每层神经元与下一层神经元之间完全互连神经元之间不存在同层连接神经元之间不存

#算法#神经网络#python +1
FAILED: ParseException line 5:29 missing EOF at ‘)‘ near ‘1‘

FAILED: ParseException line 5:29 missing EOF at ')' near '1'看是不是\t,只需在sql前按删除键。若一下子删除了多格就是/t了,需要换成空格;否则不用换。

#mysql#sql#hive +2
BP神经网络算法

1.基本思想先上一个图Layer1为输入层,x1,x2,x3表示一个样本里的每个特征;Layer2为隐藏层当然,隐藏层可以不止一层,在神经网络中,输入层与输出层之间的层称为隐含层或隐层,隐层和输出层的神经元都是具有激活函数的功能神经元;Layer3为输出层,输出值更大的对于类别作为预测label。人工神经网络结构有以下特点:每层神经元与下一层神经元之间完全互连神经元之间不存在同层连接神经元之间不存

#算法#神经网络#python +1
SVM分类算法

1.基本概念支持向量机(SVM)的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法,在引入了核方法之后SVM也可以用来解决非线性问题。 实际应用中一般要解决觉得是多分类问题,SVM也可以用了来解决多分类,可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式等。一般SVM有下面三种:硬间隔支持向量机(线性可分支

#算法#python#机器学习
Hadoop--MapReduce详解(Map、Shuffle、Reduce)

目录1、MapReduce概述1.1 MapReduce是什么1.2 MapReduce核心思想和简单过程1.3 MapReduce的优缺点2、MapReduce工作机制2.1 MapReduce常用数据序列化类型2.2 MapReduce简单过程图示2.2.1 MapReduce进程2.2.2 数据切片与MapTask并行度2.2.3 分区机制与ReduceTask并行度2.2.4 排序2.2.

#hdfs#hadoop#大数据 +2
到底了