logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据集群将root用户切换至普通用户使用

2.2配置免密,在所有机器上执行cat ~/.ssh/id_rsa.pub | ssh ampthon@nna ‘cat ~/.ssh/authorized_keys’ 命令,将公钥拷贝到nna服务器上,然后将nna上的authorized_keys文件覆盖到集群其他机器。4.启动spark,./start-all.sh(这里要进入spark目录,如果使用环境变量是走的hadoop的脚本)hado

文章图片
#大数据#hadoop#hbase
angular实现国密算法sm2、sm3和sm4的ts版,基于sm-crypto库实现,前后端实现

ts版,js的话直接根据npm文档调用就可以了!ts提供的方法有问题,所以还换了个思路来实现!而且因为不是nodeJs环境所以const sm4 = require('sm-crypto').sm4这个在ts里是报错的导致无法实现,如果是使用的是electron那么使用const sm4 = window.require('sm-crypto').sm4就可以来调用js里的方法了。npm文档:sm

#angular
Linux下在没有root权限的普通用户下,执行需要root权限的java程序

我们需要在没有root权限的普通用户下,执行java程序,此java程序中需要使用到jpcap来接收网卡的包,jpcap需要root权限才能够加载网卡信息,由于此用户并不能拿到root权限,所以需要给java虚拟机提权来解决问题。

文章图片
#linux#java#jvm
VMware安装出错-无法安装服务“VMware Authorization Service”,请确保您有足够的权限安装系统服务;centos7网络服务不可用,主ip地址:网络信息不可用

今天遇到一个bug,VMware突然网络服务不可用了,虚拟机里右上角有网络但是点开不显示网络的连接信息。也不能上网,不能ping通外网(百度)VMware下显示 主ip地址:网络信息不可用尝试了重启网络,重启服务,重置虚拟网络,都不能解决。因为以前出现过一次是把VMware删除并重新安装一个。所以进行了重新安装(只是重新安装VMware,虚拟机并不会删除掉),在安装过程又出现了新问题##...

#虚拟机
Hive环境搭建(完整版)-配置

Hive部署:前提:在安装Hive之前,要求先:- 安装JDK 8- 安装Hadoop-2.7.7- 安装MySQL 5.6.x!!!我这里主节点叫chun1,根据自己的进行修改一、安装1. 下载hive最新的稳定版本的包,并解压缩到用户主目录下:tar -xzvf apache-hive-2.1.5-bin.tar.gz改名:mv apache-hive-2.1.5-bin...

#hive#hdfs#hadoop
记录一次HBase的scan的分页查询

修改前任bug,Hbase查询过于慢了,以至于都查不出来了,看了代码发现使用的Scan只设置了withStartRow、withEndRow、setCaching扫描,拿到全部数据后存入集合再subList进行分页,但是HBase中存在某些数据有几百万条,根本scan不出来了。前任设置如下: 其中start 和 end 拼接0和z是因为HBase中RowKey按照字典顺序排序,String sta

#java#hbase#hadoop
Hbase模糊查询优化 - 并发查询

HBase查询优化,多region,并发查询

#hbase#hadoop#大数据
第二次尝试修复Hbase2出现Region不一致,使用 HBCK2 - 2021.11.15

spark任务中入hbase任务全部失败了,查看日志发现hbase出现问题报错日志:在hbase的log中看到报错Call queue is full on xxxx,16000,1611197476326, too many items queued修改了配置文件,增加了队列数量参数说明:https://hijiazz.gitee.io/hbase-callqueue-isfull/并且zook

#hbase#hadoop
到底了