ODPS插件参考：基于Kettle的MaxCompute插件实现数据上云使用Hive参考：http://cloud.itheima.com/areanew/schoolzixun/cloud/20190801/192216.html主要步骤：（请先在本机配置hosts）修改\kettle\data-integration\plugins\pentaho-big-data-plu...

背景1）主要为了解决SpringBoot集成MongoDB的事务问题2）实际使用还是要搭配分片以及副本集使用，不要仅使用副本集。副本集的特点1）主节点唯一主节点唯一，但是不固定（不确定的原因是：主节点挂了的话，会重新选举出一个主节点）。2）大多数原则大多数原则，即1/2原则，一个复制集集群中，如果有大于等于1/2的节点不可用的话，那么整个进群将不可写，只可读(注：实际上应该是投票权重的1/2。3）

原因：MongoDB为了优化本身的读写效率，将内存当作缓存，所以读写的次数越多，缓存就越大。默认值为 50% *（RAM - 1GB）或者 256MB，从MongoDB3.4开始，WiredTiger内部缓存默认使用默认值中较大的一个。解决办法：修改config/mongod.cfg配置dbpath=/data/app/mongodb4.2.8/data/rs1#MongoDB数据安装目录logp

错误描述:　　ElasticSearch集群启动错误,错误的原因是:因为Centos6不支持SecComp,而ES默认bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致ES不能启动解决:修改elasticsearch.yml问题解决:在所有节点的elasticsearch.yml配置文件中加入:　　bootstrap.mem...

先来简单介绍一下，网络爬虫的基本实现原理吧。一个爬虫首先要给它一个起点，所以需要精心选取一些URL作为起点，然后我们的爬虫从这些起点出发，抓取并解析所抓取到的页面，将所需要的信息提取出来，同时获得的新的URL插入到队列中作为下一次爬取的起点。这样不断地循环，一直到获得你想得到的所有的信息爬虫的任务就算结束了。我们通过一张图片来看一下。　　好的 下面进入正题，来讲解下

人们在使用计算机解决客观世界中存在的具体问题时，通常过程如下：首先通过对客观世界的认知形成印象和概念从而得到了信息，在此基础上建立概念模型，它必须能够如实地反映客观世界中的事物以及事物间的联系；根据概念模型将实际问题转化为计算机能够理解的形式，然后设计程序；用户通过人机交互界面与系统交流，使系统执行相应操作，最后解决实际的问题。 数据结构主要与在上述过程中从建立概念模型到实现模型转化并为后续程序设

G1是一款面向服务端应用的垃圾收集器，是从JDK1.7开始支持的。HotSpot开发团队赋予它的使命是未来可以替换JDK1.5中发布的CMS收集器，从局部看是基于“复制”算法实现的，意味着G1不会产生内存空间碎片。与其他GC收集器相比，G1最大的特点在于：可预测的停顿，这是G1相对于CMS的一大优势，降低停顿时间是G1和CMS共同的关注点，但G1除了追求低停顿外，还能建立可预测的停顿时间模型，能让

选型：source channel sinkexec memory hdfs# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.command = tai

# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = TAILDIRa1.sources.r1.positionFile = /bigdata/flume-1.6.0-cdh5.16.2/ta

# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = TAILDIRa1.sources.r1.positionFile = /bigdata/flume-1.6.0-cdh5.16.2/ta