我一共使用了三台ubuntu虚拟机，网络使用的是Nat模式，因为配置中涉及到IP，所以建议使用Nat模式固定的IP。ubuntu-18.04.4 Hadoop完全分布式环境安装系统配置IP分配主机名设置配置hosts重启网络检查网络创建hadoop账户SSH免密登录安装Hdoop启动Hadoop用自带的样例测试hadoop集群通过eclipse编写Hadoop代码系统配置IP分配主节点：1...

本文通过两个centos7虚拟机展示了clustershell的安装与使用一.两台虚拟机之间免密码登陆1.sudo vim/etc/hosts将主机与IP相互对应写入其中2.执行下列命令，产生本机的公私钥文件，默认存放在本用户主目录的.ssh目录下ssh-keygen -t rsa出现如图结果说明执行成功3.执行下列命令，将本机公钥发送到其他主机，声明对集群中其他主...

昨天自己的Ubuntu虚拟机复制后再打开发现找不到自己的网络图标，查了好多资料才找到一个最靠谱的方法sudo service network-manager stopsudo rm /var/lib/NetworkManager/NetworkManager.statesudo service network-manager start然后就会惊奇的发现网络图标出现了...

HBase环境搭建和使用（使用了两台Centos7的虚拟机）一.检查、安装java，设置JAVA_HOME1.下载并解压JDK2. 配置环境变量二.配置SSH免密登录1.生成ssh-key（两台虚拟机都要生成）2.实现免密登录三.下载zookeeper、Hadoop、hbase1.zookeeper2.Hadoop3.hbase四.解压、配置zookeeper，启动，jps看状态1.解压2.配置3

本人java基础较弱，有什么需要改进的欢迎大家评论Hadoop实现KNN算法一.环境二.数据说明三.MapReduce设计1.KNN算法的基本思想即传统KNN算法的的性能瓶颈2.并行化KNN设计思想3.map函数设计4.reduce函数设计四.实现步骤1.main函数2.map函数实现3.reduce函数实现五.运行结果六.代码总览七.问题与解决八.总结与感悟一.环境ubuntu虚拟机，使用的是伪

搭建日志服务器本人用了两个centos7虚拟机，一个作为客户端，一个作为服务器，搭建了一个日志服务器，步骤如下：1.客户端：172.20.10.8修改 /etc/rsyslog.conf 添加syslog.info@server IP...

Hadoop实现词频统计（按照词频降序排列以及相同词频的单词按照字母序排列）一.环境二.实现步骤1.数据2.主函数3.第一个MapReduceMapReduce4.第二个MapReduceMapReduceSort三.代码总览四.问题与解决1.停用词表共享问题2.实现词频降序问题3.保证字母序问题五.总结与感悟1.不要局限于一个MapReduce2.学会自定义数据类型一.环境ubuntu虚拟机，使

命名实体识别实例（BERT）一、背景二、数据预处理三、训练模型四、对预测结果进行转换一、背景本实例是当时参加第八届泰迪杯数据挖掘挑战赛C题的一部分，该赛题是智慧政务方面的，主要是根据群众的留言来了解民意第二问是挖掘热点问题，为了先识别出问题发生的地点，涉及的任务以及问题本身，我们先对留言做了命名实体识别以支撑后续对热点问题的挖掘所给的数据如下下面我们要做的就是对留言主题和留言详情中的数据进行命名实

基于storm的电商销售量大屏一、项目需求二、项目架构模型三、代码结构1.订单实体类2.模拟消息生产者3.消息消费者ProcessOrderBoltRealBoardTopology4.Redis使用工具类四、环境搭建1.storm集群搭建2.kafka搭建（1）下载并解压（2）安装zookeeper（3）配置kafka3.redis集群搭建五、环境启动1.启动zookeeper2.启动kafka

RDD编程初级实践一、spark-shell交互式编程1.该系总共有多少学生2.该系共开设了多少门课程3.Tom同学的总成绩平均分是多少4.求每名同学的选修的课程门数5.该系DataBase课程共有多少人选修6.各门课程的平均分是多少7.使用累加器计算共有多少人选了DataBase这门课二、编写独立应用程序实现数据去重三、编写独立应用程序实现求平均值问题一、spark-shell交互式编程数据集链