logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hadoop基准测试

在企业中非常关心每天从Java后台拉取过来的数据,需要多久能上传到集群?消费者关心多久能从HDFS上拉取需要的数据?为了搞清楚HDFS的读写性能,生产环境上非常需要对集群进行压测。HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试,将hadoop102、hadoop103、hadoop104虚拟机网络都设置为100mbps。100Mbps单位是bit;10M/s单位是byte ; 1byt

#hadoop#hdfs#big data
虚拟机的网络连接三种形式的说明

前言很多人安装虚拟机的时候,经常遇到不能上网的问题,而vmware有三种网络模式,对初学者来说也比较眼花聊乱,今天我就来基于虚拟机3种网络模式,帮大家普及下虚拟机上网的背景知识。虚拟机网络模式无论是vmware,virtual box,virtual pc等虚拟机软件,一般来说,虚拟机有三种网络模式:1.桥接2.NAT3.Host-Only初学者看到虚拟机有三种网络,估计就慌了,笔者也是。哪一种网

#ssh#bash#linux
NAT模式下实现局域网内的主机、虚拟机连接

1、准备工作要想实现互联,需要宿主机是windows专业版或者开启了远程连接,因为NAT模式下,虚拟机和宿主机是一个另外局域网,和宿主机在一个局域网的主机是找不到这个局域网的,按接下来的操作配置了ip映射可以找到这个局域网后,宿主机不能远程访问,同样也无济于事。Windows家庭版开启远程连接2、什么是NAT模式虚拟机的网络连接三种形式的说明3、解决办法查看自己虚拟机ip地址,记一下,后面要用if

#java#linux#服务器
Windows家庭版开启远程连接

项目场景:总所周知,windows专业版可以被远程连接和远程连接同一局域网的主机或虚拟机。但是家庭版不能,官方提示升级为专业版,但是看了看价格,以及重装系统带来的时间损耗,伤不起。。。经过查阅资料发现了更改一些配置即可实现远程连接。问题描述:ping也无法ping通原因分析:windows家庭版防火墙没关没有允许远程访问解决方案:1.自己电脑是win10家庭版,这个默认不支持远程桌面连接,需要修改

#java#linux
虚拟机与主机切换时提示num lock问题

找了半天,发现是罗技的SetPoint的问题,卸载或退出后正常。

#其他#经验分享
git快速使用

设置签名。

文章图片
#git
项目经验之支持LZO压缩配置

1)hadoop-lzo编译hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译。2)将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-3.1.3/share/hadoop/common/[atguigu@hadoop102 common]$ mv hadoop-lzo-0.4

#hadoop#mapreduce#big data
ERROR: child process failed, exited with error number 14(error number 1,error number 100)

问题描述:启动mongodb时,出现error:14,查看mongodb.log提示MongoDB –无法解除套接字文件/ tmp / mongodb-27017的链接原因分析:查看/tmp/mongodb-27017.sock,发现拥有者是root解决方案:删除/tmp/mongodb-27017.sock文件,重新启动mongod进程。 再次检查/tmp/mongodb-27017.sock权

#mongodb#nosql#数据库
CentOS7.5下载及安装过程

目录1 下载地址2.1 配置电脑2.1.1 进入VMware2.1.2 自定义新的虚拟机2.1.3 解决虚拟机的兼容性2.1.4 选择当前虚拟机的操作系统2.1.5 选择虚拟机将来需要安装的系统2.1.6 配置电脑2.1.7 选择CPU的个数2.1.8 设置虚拟机的内存2.1.9 选择虚拟机上网方式2.1.10 选择对应的文件系统的IO方式2.1.11 选择磁盘的类型2.1.12 选择磁盘的种类2

#centos#linux#运维
到底了