logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【推荐】hadoop--HA分布式集群部署步骤总结

一、理论基础( 一)  HA 概念以及作用  HA(High Available), 高可用性群集,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行时,备用节点此时就会侦测到,并立即接续活动节点来执行业务。从而实现业务的...

#hadoop
免费企业网络入侵检测工具(IDS)

1.Snort:这是一个几乎人人都喜爱的开源IDS,它采用灵活的基于规则的语言来描述通信,将签名、协议和不正常行为的检测方法结合起来。其更新速度极快,成为全球部署最为广泛的入侵检测技术,并成为防御技术的标准。通过协议分析、内容查找和各种各样的预处理程序,Snort可以检测成千上万的蠕虫、漏洞利用企图、端口扫描和各种可疑行为。在这里要注意,用户需要检查免费的BASE来分析Snort的警告。2.OSS

IoT物联网之边缘计算: KubeEdge,K3S

收录两篇关于物联网的边缘计算文章,觉得不错。自己可以去看看。1.KubeEdge向左,K3S向右2.KubeEdge vs K3S:Kubernetes在边缘计算场景的探索

#物联网#k8s
在spring boot下如何通过rest 接口 来上传文件 和下载文件 到 hadoop hdfs

本文将用代码来演示在spring boot里面,用hadoop client,通过restful API来上传文件 和下载文件 到 hadoop hdfs。里面有一些代码依赖坑,注意绕行。前提:如果你的代码在windows上运行,去连接linux上的hadoop(2.7.x或者以上),则需要做一下设置。1:下载下面的windows hadoophttps://github.co...

#hdfs#hadoop#mvc
Docker (error getsockopt: connection refused ,使用http无法使用 docker login 登录的问题)

方案解决:Docker (error getsockopt: connection refused ,使用http无法使用 docker login 登录的问题)因部署Harbor 镜像仓库,部署完了之后根据提示上传 images,需要使用docker login ip:port 进行登录,登录的时候发现因为docker 默认是https,因为测试环境就没有配置证书,所以必须添加非...

#docker#http
centos 磁盘测试工具FIO工具 安装和实战

//磁盘IPOs测试在centos 7.4上,执行下面步骤yum -y install gccwget http://brick.kernel.dk/snaps/fio-2.0.7.tar.gzcd fio-2.0.7/; make ; make install;fio -filename=/dev/mapper/vg0-lv0 -direct=1 -iodepth 1 -th...

ffmpeg 从视频文件抓取图片 (帧)的用法

vf "select=not(mod(n,10))"表示选取每10帧中的第一帧(n代表当前帧编号,从0开始)。这个例子中,-ss 00:00:05设定了开始时间(小时:分钟:秒),而-frames:v 1告诉ffmpeg提取一帧视频。ffmpeg的行为可能会根据你的系统和ffmpeg版本略有不同,请确保查看ffmpeg文档或使用ffmpeg -h获得帮助。要从视频文件中提取多个图片帧,你可以使用f

文章图片
Spring Cloud配置ip注册找不到${spring.cloud.client.ipAddress}

如果你的Eureka client程序中,配置${spring.cloud.client.ipAddress}不生效,则需要按以下步骤搞:1.首先,在SpringCloud 2.x已经改成${spring.cloud.client.ip-address}了,所以你得首先修改eureka:instance:prefer-ip-address: trueins...

mybatis动态script加入 >=号

@Select({"<script>"," SELECT * FROM ext_statement_records WHERE business_system_id=#{businessSystemId} AND <![CDATA[date1 <=#{toDate} ]]> "," AND id IN ","<foreach collection='idList

在spring boot下如何通过rest 接口 来上传文件 和下载文件 到 hadoop hdfs

本文将用代码来演示在spring boot里面,用hadoop client,通过restful API来上传文件 和下载文件 到 hadoop hdfs。里面有一些代码依赖坑,注意绕行。前提:如果你的代码在windows上运行,去连接linux上的hadoop(2.7.x或者以上),则需要做一下设置。1:下载下面的windows hadoophttps://github.co...

#hdfs#hadoop#mvc
    共 33 条
  • 1
  • 2
  • 3
  • 4
  • 请选择