Serverless架构或Serverless计算是软件架构风格向分布式系统发展结果，而当前建立一个系统的标准是面向服务架构(SOA)或者是SOA之微服务架构。在微服务架构中，应用/服务被开发出来然后部署，每个服务组相关一些函数，在Serverless架构中，函数是被开发并部署到独立的平台，这个平台会照顾执行这些函数响应一些事件，举例：当有HTTP请求访问时，也许有一个函数计算计算出一个响

参考文档：《Oracle Database 11g Release 2 RAC OnLinux Using VirtualBox》如对Oracle RAC需要更多了解请参考：《Oracle RAC集群体系结构》本文描述在没有共享磁盘设备的情况下，同过使用虚拟机VirtualBox实现Centos上Oracle 11g R2数据库集群（RAC）安装。一、准备1、目标

已有 308 次阅读2014-8-5 14:15 |个人分类:网络技术| ubuntu, kafka, zookeeper, 大数据, LinkedIn---------------------------------------博文作者：迦壹博客地址：http://idoall.org/home.php?mod=space&uid=1&do=blog&id=547

什么是Spark StreamingSpark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强这两个特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用 Spark的高度抽象原语如：map、re

问题导读1.Kafka有何特性？2.Kafka有哪些组件？背景：     当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点     以上几个挑战形成了一个业务需求模型，即生产者

问题导读1.broker.id的作用是什么？2.max.message.bytes表示什么含义？3.group.id是用来标识什么的？来源：http://kafka.apache.org/documentation.html#configuration3.     配置项Kafka在配置文件中使用key-value方式进行属性配置

Kafka是由LinkedIn设计的一个高吞吐量、分布式、基于发布订阅模式的消息系统，使用Scala编写，它以可水平扩展、可靠性、异步通信和高吞吐率等特性而被广泛使用。目前越来越多的开源分布式处理系统都支持与Kafka集成，其中Spark Streaming作为后端流引擎配合Kafka作为前端消息系统正成为当前流处理系统的主流架构之一。然而，当下越来越多的安全漏洞、数据泄露等问题的爆发，安

问题导读1.Kafka系统由什么组成？2.Kafka中和producer相关的API是什么？一、整体看一下Kafka我们知道，Kafka系统有三大组件：Producer、Consumer、broker 。 file:///C:/Users/ADMINI~1/AppData/Local/Temp/enhtmlclip/Ima

当我们正确地部署好Spark Streaming，我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性，你需要满足以下几个先决条件：　　1、输入的数据来自可靠的数据源和可靠的接收器；　　2、应用程序的metadata被application的driver持久化了(checkpointed );　　3、启用了WAL特性(Write ahead lo

LinkedIn在2011年7月开始大规模使用Kafka，当时Kafka每天大约处理10亿条消息，这一数据在2012年达到了每天200亿条，而到了2013年7月，每天处理的消息达到了2000亿条。在几个月前，他们的最新记录是每天利用Kafka处理的消息超过1万亿条，在峰值时每秒钟会发布超过450万条消息，每周处理的信息是1.34 PB。每条消息平均会被4个应用处理。在过去的四年中，实现了1200倍