logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

(防坑笔记)hadoop3.0 (四)MapReduce的输入输出解析及常用数据切分方式(附带压缩)

防坑留言:    主要是对MapReduce的输入与输出进行 分析,并且能够自定义方法,同时了解其他数据切分方式MapReduce的输入输出输入处理类:上图的类中为输入处理类(仅以这个为例)     InputFormat            |         FileInputFormat           |

#hadoop
(防坑笔记)hadoop3.0 (三) MapReduce流程及序列化、偏移值(MapReduce)

防坑留言:一种将数据量分成小块计算后再汇总的一种方式吧,基本理解        一张图简单构建MapReduce的基本思路map():相当于分解任务的集合吧reduce(): 相当于对分解任务运算结果的汇总 以上的两种函数的形参都是K/V结构Mapper的任务过程(其中的mappe任务是一个java进程)

#hadoop#mapreduce
springBoot(八)整合之整合阿里druid数据库连接池

         当时是基于C3P0处理数据库,然后偶发性出现连接超时,然后加上需要查看连接次数以及访问次数,我就想到采用druid数据库连接池,话不多说,先上代码官网传送门:https://github.com/alibaba/druid/wiki/%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98其实下面的部分出于演示,用硬编码,其实完全可以通过配置属性,来进行动...

java-spring个人总结(二)IoC注入、延迟加载、单例多例

Ioc容器,我们最常使用的就是依赖注入方式了,也是为了解耦,刚开始其实觉得这个解耦主要是解开了创建对象这个步骤,减少了代码的重复性,将各个模块可以相对没有适用spring之前那样减少相互的依赖,相对便利,后面经过使用次数的增多以及阅览相关资料的篇幅逐渐增加,开始慢慢理解IOC模型的好处,它并不是启动的时候就将配置文件或者注解等元信息和JavaBean的类信息加载到IOC容器并根据配置创建模型,而是

#spring
(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)

防坑留名:为了避免以后自己遇到什么坑爹的东西,先留脚印给自己。这个hadoop呢,主要是可以让用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。这点比较厉害了。它主要是用来做数据分析,支持低端服务器集群(这点美滋滋- - ),先抓取大量数据,利用数据运算分析,获取日志,显示报表~~~~~;

#hadoop
(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)

防坑留名:为了避免以后自己遇到什么坑爹的东西,先留脚印给自己。这个hadoop呢,主要是可以让用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。这点比较厉害了。它主要是用来做数据分析,支持低端服务器集群(这点美滋滋- - ),先抓取大量数据,利用数据运算分析,获取日志,显示报表~~~~~;

#hadoop
SAML2.0 笔记(二)

针对SAML2 的实际操作内容流程讲解

#java
SAML2.0 笔记(一)

主要针对SAML基础概念和说明,梳理基础轮廓

数据迁移通用笔记(Minio、Mysql、Mongo、ElasticSearch)

③ 这里假设A是输出源、B是输入源,则其实我们可以任意在A和B节点下执行如下命令,如果缺乏别名需要补充。① 这里首先要保证A、B服务器节点网络互通,最起码保证api端口联通,如无变更,默认是9000。ES的快照是需要一个存储库来存放的,所以我们需要先创建存储库快照才能创建快照存放其中。字段指定了存储库类型为 “fs”,表示使用本地文件系统作为快照的存储位置。② 我们可以任意在A、B中选取一个配置别

#mysql#elasticsearch
Vue 应用系列笔记(三)关于HTTP请求 - Axios 与 mockJs

axios 请求 引入 以及 模拟请求工具类 mockJs 适配axios的工具类 axios-mock-adapter

    共 11 条
  • 1
  • 2
  • 请选择