logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

大数据项目管理

可提供的服务

暂无可提供的服务

ethermine延迟无效高解决方案

下面文章详细介绍如何降低无效和延迟方案优势:1,低成本:一年只要几百块,折合一个月几十块,每天约等于1-2块,平摊到每台机器上成本更低。2,效果显著:部署后,延迟可以大幅度降低。广东大部分地区连接asia2节点为例,延迟可以降低到20ms以内。同时可以大幅度丢包率,降低Shared的延迟率和无效率。解决方案:目前国内的云主机厂商都推出了海外节点,香港节点是距离大陆最近,连接速度也最快的地域。国内常

Linux中招挖矿木马如何处置,附带解决方案

前段时间一位朋友在群里反应,公司的部署大数据集群的Linux服务器中了挖矿木马病毒,让我给他解决,分享一下解决方法。一. 什么是挖矿木马首先经过多年的演进,越来越多的挖矿木马利用多种方式入侵系统,意图感染更多的机器,提高挖矿的效率和收益,其中主要入侵方式如下:1. 漏洞利用:利用系统漏洞快速获取相关服务器权限,植入挖矿木马是目前最为普遍的传播方式之一。常见的漏洞包括Windows系统漏洞、服务器组

#linux#centos#运维
Call From linux01/192.168.x.x to linux01:8020 failed on connection exception: 拒绝连接; For more details

测试的时候使用HDFS展示文件的时候报错,正好排查了一下在执行hdfs命令:hdfs dfs -ls /报错信息如下:DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.ls: Call From linux01/192.168.x.x to

#hadoop#hdfs#大数据
Kafka监控管理平台之CMAK原Apache Kafka 的集群管理器

CMAK(以前称为 Kafka Manager)是一种用于管理Apache Kafka集群的工具。 有关名称更改的详细信息,请参见下文。CMAK 支持以下内容:管理多个集群轻松检查集群状态(主题、消费者、偏移量、代理、副本分布、分区分布)运行首选副本选举使用选择要使用的代理的选项生成分区分配运行分区的重新分配(基于生成的分配)使用可选主题配置创建主题(0.8.1.1 与 0.8.2+ 具有不同的配

#kafka#apache
ES过滤掉某个字段为空值的结果

sql语句中过滤字段空值的写法是 select * from table where 字段 is not null在es中过滤字段空值可以这样子写:GET index/type/_search{"query": {"bool": {"must": {"exists": {"field": "字段名"}}}}}反之 为{"query": {"bool"

#elasticsearch#大数据#big data
SparkConf常见参数设置

val sparkConf: SparkConf = new SparkConf().set("spark.driver.cores","20")//设置driver的CPU核数.set("spark.driver.maxResultSize","20g") //设置driver端结果存放的最大容量,这里设置成为20G,超过20G的数据,job就直接放弃,不运行了.set("spark.drive

#大数据#spark#java
最详细全面的Hbase安装流程和环境配置

1. Zookeeper正常部署首先保证Zookeeper集群的正常部署,并启动:[root@hadoop101 zookeeper-3.5.7]$ bin/zkServer.sh start[root@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start[root@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh

#hbase#big data#hadoop
到底了