一、将虚拟Python环境打包创建好环境后，进入到环境所在的文件夹，例如环境是/home/hadoop/anaconda3/envs, cd到envs下，使用打包命令将当前目录下的文件打成zip包：cd /home/hadoop/anaconda3/envszip -r py37.zip py37YARN集群配置Python环境在开始安装YARN及Spark集群的时候，可以将对应Python软件包

ubuntu18.04下hadoop安装与集群配置hadoop安装_单机/伪分布式配置环境创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装Java环境安装 Hadoop 2hadoop安装_单机/伪分布式配置环境本文安装环境在ubuntu-18…04，hadoop-2.9.2。使用本教程请确保系统处于联网状态下，部分高校使用星网锐捷连接网络，可能导致虚拟机无法联网，那么建议您使用

pandas数据预处理数据处理基本流程数据集处理缺失值处理缺失值产生原因插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入数据处理基本流程数据预处理大致包含以下4个基本流程：数据整合

使用mysql -uroot -p,然后输入密码登录mysql时，出现了如下错误：ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: YES)解决办法：使用root用户，重置密码1.重置密码的第一步就是跳过MySQL的密码认证过程，方法如下：进入/etc/my.cnf在[mysqld]后面任意

关于这个问题是在 mysql 初始化时，使用临时密码，修改自定义密码时，由于自定义密码比较简单，就出现了不符合密码策略的问题。解决办法：1.进入mysql输入命令：mysql -root -p2、查看 mysql 初始的密码策略，输入语句 “ SHOW VARIABLES LIKE ‘validate_password%’; ” 进行查看，2、首先需要设置密码的验证强度等级，设置 validate

目录1、concat函数,concat_ws函数，concat_group函数CONCAT() 函数2、CONCAT_WS(SEPARATOR ,collect_set(column)) 等价于 GROUP_CONCAT()3、Hive之列转行,行转列列转行行转列1、concat函数,concat_ws函数，concat_group函数hivesql中的concat函数,concat_ws函数，c

Hbase安装一、安装Hadoop对应版本的Hbase二、伪分布式模式配置三、HBase java API 编程实践一、安装Hadoop对应版本的Hbase查看各个对应稳定版本绿色√代表兼容版本Hbase官方下载地址: http://archive.apache.org/dist/hbase/.hbase官方下载地址：解压安装包hbase-2.2.2-bin.tar.gz至路径 /usr/loca

Spark解决的问题与体系结构1、Spark解决的问题：2.Spark的API3.完整作业描述4.spark 体系架构1、Spark解决的问题：– 最大化利用内存cache （采用该多线程的方式）– 中间结果放内存，加速迭代（内存计算下Spark比MapReduce约快100倍）– 某结果集放内存，加速后续查询和处理，解决运行慢的问题– 更丰富的API（解决API单一问题）– Transfomat

1、体系架构：2、三大组件：1、用户接口（Client）：包括CLI、JDBC/ODBC、WebGUI①CLI（command line interface）为shell命令行 ，进行交互执行SQL；直接与Driver进行交互。CLI启动的时候，会同时启动一个Hive副本②JDBC/ODBC 驱动是Hive 的JAVA实现，作为JAVA的API;JDBC是通过Thift Server来接入，然后发