logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop 实现简单的wordcount实例

前置条件:在hadoop官网下载某个版本的zip文件,这里下载的版本是2.7.3,将其解压刀你的电脑的某个目录中,这里为:D:\dev\hadoop-2.7.3下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.3/src的是文件源码,有需要的可以下载下来研究~配置环境变量:HADOOP_HOMED:\dev\had

#hadoop
hadoop监控:JMX

前言最近在研究hadoop集群的负载分析,同学推荐Hadoop自带的监控端口JMX,于是查阅资料做了一下总结。认识JMX1.首先看官方接口说明类JMXJsonServlet继承父类 javax.servlet.http.HttpServlet只提供web页面来访问JMX例如:启动了hadoop集群(master slave1slave2)通过端口50070访问:ma...

#hadoop
机器学习数据分析之-轮廓系数(评估聚类结果)

在学习使用k-means算法进行负载聚类分析时看到了这样的图,查了之后大仙是用轮廓系数来评估分类结果的准确度或者称合适度。定义轮廓系数结合了凝聚度和分离度,其计算步骤如下:1.对于第i个对象,计算它到所属簇中所有其他对象的平均距离,记为ai(体现凝聚度)2.对于第i个对象和不包含该对象的任意簇,记为bi(体现分离度)3.第i个对象的轮廓系数为si=(bi-ai)/max(a...

#python#聚类
关联规则挖掘算法-CANTree(canonical-order tree)

算法衍生过程Leung等提出的一种基于树结构所改进的算法:CANTree(canonical-order tree),这种算法不用考虑候选项集,而且解决了FELINE和AFPIM所存在问题。CanTree的构建只需一次数据库扫描,这一点不同于需要两次数据库扫描的FPTree。在CanTree中,项是根据某种序列排序的,这种序列可以由用户在挖掘过程之前或者挖掘过程中决定。1.CanTree的构建首先

#算法
机器学习数据分析之-轮廓系数(评估聚类结果)

在学习使用k-means算法进行负载聚类分析时看到了这样的图,查了之后大仙是用轮廓系数来评估分类结果的准确度或者称合适度。定义轮廓系数结合了凝聚度和分离度,其计算步骤如下:1.对于第i个对象,计算它到所属簇中所有其他对象的平均距离,记为ai(体现凝聚度)2.对于第i个对象和不包含该对象的任意簇,记为bi(体现分离度)3.第i个对象的轮廓系数为si=(bi-ai)/max(a...

#python#聚类
机器学习数据分析之-轮廓系数(评估聚类结果)

在学习使用k-means算法进行负载聚类分析时看到了这样的图,查了之后大仙是用轮廓系数来评估分类结果的准确度或者称合适度。定义轮廓系数结合了凝聚度和分离度,其计算步骤如下:1.对于第i个对象,计算它到所属簇中所有其他对象的平均距离,记为ai(体现凝聚度)2.对于第i个对象和不包含该对象的任意簇,记为bi(体现分离度)3.第i个对象的轮廓系数为si=(bi-ai)/max(a...

#python#聚类
雾计算 云计算 边缘计算

定义:在该模式中数据、数据处理和应用程序集中在网络边缘的设备中,而不是几乎全部保存在云中,是云计算(cloud computing)的延伸概念。雾计算,是一种分布式的计算模型,作为云数据中心和物联网(IoT)设备/传感器之间的中间层,它提供了计算、网络和存储设备,让基于云的服务可以离物联网设备和传感器更近。雾计算的概念的引入,也是为了应对传统云计算在物联网应用时所面临的挑战。雾 是更贴近地面的

#云计算#物联网
光标所在位置插入一串字符,并在特定位置设置光标锁定位置

在写一个小型的编辑器时,有很多的鼠标点击事件,用于设定markdown语法。那么如何获取光标的所在位置,并插入一串字符,且将光标定位到特定位置?接下来就是在网上查看的方法以及如何实现该功能的代码:talk is cheap,show me the codeshowdownContainer.prototype.insertStrAtCursor = function(textareaObj,

#编辑器
雾计算 云计算 边缘计算

定义:在该模式中数据、数据处理和应用程序集中在网络边缘的设备中,而不是几乎全部保存在云中,是云计算(cloud computing)的延伸概念。雾计算,是一种分布式的计算模型,作为云数据中心和物联网(IoT)设备/传感器之间的中间层,它提供了计算、网络和存储设备,让基于云的服务可以离物联网设备和传感器更近。雾计算的概念的引入,也是为了应对传统云计算在物联网应用时所面临的挑战。雾 是更贴近地面的

#云计算#物联网
Docker容器资源管理

前言在进行集群实验时,由于物理机不够用,而在一台物理机装虚拟机又会造成很大的资源开销,电脑运行缓慢。而容器则为我们提供了一种很好的解决方式。Docker也在近几年很快扩展开来,被用以微服务架构的搭建和实验。那么,使用docker创建的容器与物理机之间的资源占用是怎样的呢?下面我们来具体说明。1.基础概念Docker使用cgroups归类运行在容器中的进程。这使得可以管理一组进程...

#容器
    共 14 条
  • 1
  • 2
  • 请选择