一般公式分为两种形式，可以理解为一种特殊的代码块，这是行内公式：$ \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. $这是行内公式：Γ(z)=∫∞0tz−1e−tdt.Γ(z)=∫0∞tz−1e−tdt. \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,.这是块公式$$\Gamma(z) = ...

Spark编程模型

　　本篇笔记主要记录及推导Andrew NG的Machine Learning课程中出现的公式。　　我们假设对于任意的分类、聚类、回归等问题在自然界中总是存在一个精确的模型与之相对应，接下来我们要做的就是根据获取的样本来反推并确定这个模型。由于我们毕竟无法遍历这个问题所有的情况，所以我们只能根据获取的样本去尽可能接近的确定这个模型。　　公式化上面这段描述，问题对应的模型就藏在假设空间(Hy...

主要内容参考自：centos下vmware 桥接设置静态ip例子关于虚拟机网络配置的文章：Win7+VMware Workstation环境下的CentOS-Linux网络连接设置（推荐阅读）win7 访问本机的CentOS 6.3上的web项目以及 互相通信访问（ CentOS运行于本机VMware虚拟机中）Win7下虚拟机上Li

主要内容参考自：centos下vmware 桥接设置静态ip例子关于虚拟机网络配置的文章：Win7+VMware Workstation环境下的CentOS-Linux网络连接设置（推荐阅读）win7 访问本机的CentOS 6.3上的web项目以及 互相通信访问（ CentOS运行于本机VMware虚拟机中）Win7下虚拟机上Li

Hadoop：2.4.0Spark：1.4.0Ubuntu 14.01、首先启动Hadoop的HDFS系统。    HADOOP_HOME/sbin/start-dfs.sh2、在Linux中生成一个文件test.txt，保存在/home/testjars/目录下3、通过hadoop fs -put命令上传    hadoop fs -put

参考spark官方文档,Spark Streaming + Kafka IntegrationGuide,其中提到Spark Streaming如何从Kafka中接收数据.主要有两种方法,一种是使用Receivers的旧方法,另一种是不使用Receivers的新方法(从Spark 1.3才开始引入)1,Approach 1: Receiver-based Approach(基于Rec

1,将SPARK_HOME中的DirectKafkaWordCount程序复制到idea中.2,由于在KafkaWordCount中已引入相关jar包,此步可略过3,配置configurations参数 关于program arguments参数,程序中定义如下:/** * Consumes messages from one or more topics

1,从spark的example中找到KafkaWordCount.scala文件复制到idea编辑器中,引入包:2,编辑configuration,    (1)KafkaWordCountProducer    选择KafkaWordCount.scala中的KafkaWordCountProducer方法    VM options 设置为:-Ds

这篇博客是基于Spark Streaming整合Kafka-0.8.2.1官方文档。　　本文主要讲解了Spark Streaming如何从Kafka接收数据。Spark Streaming从Kafka接收数据主要有两种办法，一种是基于Kafka high-level API实现的基于Receivers的接收方式，另一种是从Spark 1.3版本之后新增的无Receivers的方式。这两种方式的代码