//解决nameservice无法解析，导致下不了rmp包的问题，离线安装，这就要求先把要获取的rmp获取，网上，或者安装一次之后从yum缓存中获取。注意依赖性，用这个解决：//转向yum的更新源，代替RHN//os.chdir("/etc/yum.repos.d")//当然在离线安装之前要把相应的gz,py.sh等先传到服务器，之后再在虚拟机端链接服务器，从服务器来下来sh，运行这个

同一个k8s直接掉,在一个集群里用http://imp-www.-test.svc.cluster.local:1398这种，不在一个集群用location(先到宿主机，再由宿主访问k8s内部)框架自动装配内部的思路，和我们手动写过程一致，当没有自动装配的例子，可以通过手动写的例子知道大致过程，即可知道。impTask: http://10.1.1.1:8080服务地址（宿主机+端口）---内网可

在对kafka的理解中，常常会被问及到kafka如何保证数据的顺序消费、kafka的数据重复消费怎么处理、如何保证kafka中数据不丢失？今天先说说数据的顺序消费问题。关于顺序消费的几点说明：①、kafka的顺序消息仅仅是通过partitionKey，将某类消息写入同一个partition，一个partition只能对应一个消费线程，以保证数据有序。②、除了发送消息需要指定partitionKey

虚拟机-Linux-CentOS 7吐血安装Hadoop2.9.2搭建集群教程（详细图解）HDFS客户端环境搭建搞了好久，成功了赶紧来总结一下。 ???? ????目录配置Hadoop配置winutils.exe和hadoop.dll配置Maven创建Maven工程配置log4j.properties编写测试用例查看源码配置Hadoop把Hadoop的压缩包解压到指定的目录，比如我解压到 D:\h

fetch: 获取所有分支，tag  ，如此用这个命令不必在新建分支，tag之后重建空间才能获取 pull：获取当前本地工作目录中现有分支的所有代码同步 switch: 一般是选择切换到本地分支 在本地和远端在merger之前有差异，可以先save stash ,然后合并，之后再pop stash...

虚拟机-Linux-CentOS 7吐血安装Hadoop2.9.2搭建集群教程（详细图解）HDFS客户端环境搭建搞了好久，成功了赶紧来总结一下。 ???? ????目录配置Hadoop配置winutils.exe和hadoop.dll配置Maven创建Maven工程配置log4j.properties编写测试用例查看源码配置Hadoop把Hadoop的压缩包解压到指定的目录，比如我解压到 D:\h

一下子打印的日志过多：Caused by: java.io.IOException: Broken pipeat sun.nio.ch.FileDispatcherImpl.write0(Native Method)at sun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:47)at sun.nio.ch.IOUtil.writeFrom

先把自动重启关一下devtools:restart:#热部署生效enabled: false把devtools给删除了，说是这个jar包导致ApplyApplication里面的@MapperScan导入包由：org.mybatis.spring.annotation.MapperScan改成tk.mybatis.spring.annotation.MapperScan我是用第三种方法解决问题的。

一直在这个没有在服务端设置本地域名,多个客户端或者防火墙导致spark-driver excutor通信失败spark(driver)-----> (excutor)ResourceManager(yarn)NodeManager（hadoop对外通信单元） (管理hadoop namenode(索引) 和datanode)ApplicationMaster(yarn) NodeManager(h

数据库大数据量处理方法启用游标查询1，可以防止数据库一下返回过大，超时(超过数据库限制)，效果类似分页查询2，需要开启事务---分批查询的缘故@Transactional@Overridepublic List<HHDto> getHNoPage(HRequest hRequest) {List<HH> result = new ArrayList<>();Li