局部加权线性回归算法(Local Weighted Linear Regression)及相关案例大家好，我是W这次讲线性回归，之前有说逻辑回归（Logistic Regression），虽然逻辑回归负责分类，可是在数据到达二值函数之前的逻辑都是线性回归的逻辑，所以这两个回归是十分相似的。这篇文章的顺序是：1、线性回归算法原理 2、最小二乘法和算法评估标准 3、案例1-简单数据集标准线性回归 4、

【翻译】ASML Automatic Streaming Machine Learning摘要 Abstract​除了大数据系统的规模问题，新数据产生和移动的高速度也带来了新的挑战。为了提取有用的见解，构建能够高效处理高速数据的系统变得至关重要，如果处理大数据而无法从中获得价值则并没有什么意义。​与典型的离线/批处理机器学习场景相反，在流的设置中，数据无法预先访问，我们需要在流数据到达时即刻学习并

伪分布式Hadoop下Java API 调用以及一些问题的解决方案大家好，我是村口靠捡牛粪过日子的可怜虫最近比较忙都没时间写博客了，想想也没什么分享，就给大家分享一些我的报告。这次分享的是Hadoop的Java API调用。一、实验目的（1） 理解HDFS在Hadoop体系结构中的角色（2） 熟练使用HDFS操作常用的shell命令（3） 熟悉HDFS操作常用的Java API二、实验环境类型名称

RDD到底是什么？RDD的API大家好，我是W今天给大家带来一篇关于Spark和RDD的博客，由于我也是初学者，所以没法带来那么深刻的东西，但是我希望用我的感性认知带给大家一点灵感，毕竟刚开始学习Spark的时候我对RDD概念、Spark流程是有很多困惑的，我觉得大家也可能存在这种问题。OK，接下来我将从以下几个角度来讲RDD和Spark：1、 Spark简介、对比hadoop、生态，2、 RDD

Spark实时进度查询大家好，我是一拳就能打爆帕特农神庙柱子的猛男相信大家都有需求要查询Spark程序执行的进度，所以今天给大家带来Spark实时进度查询的方式整理。我在Spark官网找到了关于Spark监控的相关介绍，Spark指标监控有几种方法：web UI，REST API1、 web UI当SparkContext执行的时候，在浏览器中访问服务器IP:4040就可以进入UI界面：其中可以访

在Spark Streaming连接Kafka的时候出现了WARN NetworkClient: [Consumer clientId=consumer-g1-1, groupId=g1] Error connecting to node，记录一下，也给大家排坑。首先介绍一下kafka的状况，kafka正常运行，开启了zk和kafka，可以正常创建topic，开生产者和消费者可以正常消费。stre