错误来源我想用JAVA实现HDFS文件读写，所以在maven项目中写了如下的测试方法：@Testpublic void testCopyFromLocalFile() throws URISyntaxException, IOException, InterruptedException {//1、创建配置文件Configuration conf=new Configuration();//2、获

flume像要连接到kafka主要需要编写sinks的配置，其他的正常用spooldir的配置就行话不多说，直接上代码user_friends.sources = userFriendSourceuser_friends.channels = userFriendChanneluser_friends.sinks = userFriendSinkuser_friends.sources.userF

python是一门多用途的胶水语言–人工智能、数据分析、大数据、爬虫、运维、网站开发python语言的部分特点：门槛极低需要和其他技能结合发挥作用的语言可以锦上添花，很难独当一面本人学习重点：Python语言Scrapy爬虫框架Python数据分析库PySpark呼应对比着其他语言来学对比Java和Scala思考每种语言的设计思想，体验Python语法有多随意配置环境变量：Python的工程结构模

学会在一个虚拟机上安装一个单机版本的hadoop，用于大数据学习。前提一个装有jdk的centos7虚拟机安装（1）解压cd /opt/hadoop--hadoop安装目录配置这三个文件etc/hadoop/hadoop-env.shexport JAVA_HOME=/opt/jdk8--jdk安装目录etc/hadoop/core-site.xml<property><name

前提准备首先，我们要在一台纯净的CentOS7版本的linux虚拟机安装jdk，hadoop和zookeeper，配置好环境变量，这里如果不会，请看我另外两篇博客：如何在linux虚拟机中安装hadoop，并搭建hadoop集群如何在基于linux系统的hadoop集群中，安装配置hbase,hive,zookeeper安装hadoop时请记得把 hadoop-native-64-2.6.0.ta

我的上一篇博文已经写到了：MobaXterm是一个很好用的终端工具，下载和安装都很简单。这篇博文写的是第一次使用MobaXterm，应该怎样才能连接上Linux虚拟机。设置Linux虚拟机的网关启动VirtualBox上的Linux系统，输入root和密码登录：输入命令：vi /etc/sysconfig/network-scripts/ifcfg-enp0s3然后输入"a"进入编辑模式修改下图中

Linux软件安装命令主要分为以下三种tar：解压安装安装包格式：tar、tar.gz、tar.bz安装软件包：tar–zxvf[包名]rpm：直接安装安装包格式：rpm安装软件包：rpm –ivh 软件包路径卸载软件包：rpm –e 软件包全名yum：在线安装安装软件包：yum -y install 软件包全名卸载软件包：yum -y remove 软件包全名其中tar和rpm命令都需要在本地含

如果想要再windows系统中编译JAVA来操作linux虚拟机上的hdfs文件，需要在windows系统中安装配置hadoop环境变量。安装hadoop之前我已经在linux虚拟机安装了hadoop，用的hadoop安装包是：把这个安装包解压到d盘下的一个全英文路径下：D:\bigdataSource\Hadoop\hadoop-2.6.0-cdh5.14.2在刚刚安装的hadoop-2.6.0

我的上一篇博文已经写到了：MobaXterm是一个很好用的终端工具，下载和安装都很简单。这篇博文写的是第一次使用MobaXterm，应该怎样才能连接上Linux虚拟机。设置Linux虚拟机的网关启动VirtualBox上的Linux系统，输入root和密码登录：输入命令：vi /etc/sysconfig/network-scripts/ifcfg-enp0s3然后输入"a"进入编辑模式修改下图中

安装前提：1、在linux虚拟机中已经安装好了jdkLinux软件安装命令，在Linux虚拟机中安装jdk2、使用MobaXterm连接Linux虚拟机如何用MobaXterm连接Linux虚拟机3、在虚拟机中新建一个software文件夹，放入以下的安装包：本篇实际上只会用到以hadoop开头的那两个安装包，但其他的安装包暂时放在那，后面都会一个一个安装的，本篇也会先简单安装。开始安装hadoo