环境：安装node.js，安装npm，cnpm，安装项目依赖并运行项目参考：https://segmentfault.com/a/1190000013950461运行项目 ：npm run dev打包项目：npm run build注意：打包后项目目录中会自动生成dist文件夹，如图：index.html放入static文件夹，和后端融合，则需要将static整个目录放入后...

情景：连接生产mysql从数据库我们这需要通过ssh方式连接使用连接工具为HeidiSQL如下截图：

单机（本地）模式：这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。　　伪分布式模式：也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(...

HDFS简介HDFS:Hadoop Distributed File System(hadoop分布式文件系统)分布式，感觉好厉害的样子啊，有网络文件系统，有本地文件系统，现在又多了一个分布式的文件系统。之所以是要分布式，是数据要放到多个主机上面去。放的东西在集群中，就是分布式啦！想要了解这个东东，先找一张原理图瞅瞅。看不懂没关系，继续往下瞅就是了。HDFS 1.0每个一学习...

收集的业务数据为json格式，准备利用parquet 格式重新存储到hive表，以节约空间并方便后续通过spark 或 hive 进行分析查询。 (示例代码是用python) 具体步骤是： 1. 用spark读取json数据后，得到一个dataframepath = '/xx/xxx/xxx.json'df = sqlContext.read.json(path)2. datafr...

https://blog.csdn.net/wo198711203217/article/details/80528860?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.

hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式，但是对于中文的输出window系统默认的是GBK，有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-8文件时，输出的结果为乱码，只能由UE或者记事本打开才能正常显示。因此将hadoop默认输出编码更改为GBK成为非常常见的需求。自定义 TextOutputFormat.class 子类TextOu

Java7新特性，支持使用try后面跟随（）括号管理释放资源例如通常使用try代码块1try {2fis = new FileInputStream(source);3fos = new FileOutputStream(target);45byte[] buf = new byte[1024];6...

linux已经自带了python2.7.5，想安装个3.6版本的共存。先看下版本：[root@localhost bin]# python --versionPython 2.7.5[root@localhost bin]#安装编译python3：参考：https://www.cnblogs.com/kimyeee/p/7250560.html报错：[root@loc...

注意：我这里需要springboot集成kafka，所以需要安装。集成会有报错，解决见最后。kafka依赖zookeeper，需要先安装zk，参考：https://blog.csdn.net/weixin_38750084/article/details/90548149第一步：搜索镜像docker search kafka 查看有哪些镜像可用。[root@Maste...