logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark分布式计算框架之SparkStreaming+kafka

1、SparkStreaming的介绍SparkStreaming 是流式处理框架,是 Spark API 的扩展,支持可扩展、高吞吐量、容错的实时数据流处理,实时数据的来源可以是:Kafka, Flume,Twitter, ZeroMQ 或者 TCP sockets,并且可以使用高级功能的复杂算子来处理流数据。2、MR&Storm&Spark&flink的区别MR:针对数

#kafka#spark#big data
嵌入式设备带操作系统的启动

树莓配等芯片带操作系统的启动过程C51、stm32(裸机)》》》》》直接操作底层寄存器实现相关事务。业务流程的裸机代码遥控灯:while(1)垃圾桶:wemosD1 LOOP恩智浦智能车:stm32X86 IntelWindows启动过程:电源———》BIOS————》Windows内核——》C,D盘——》程序启动(QQ)嵌入式产品:树莓派,mini2440,mini6410,nanopi,海思,

#linux#嵌入式
Linux上的线程相关的API

**与线程相关的API**1、多线程开发在 Linux 平台上已经有成熟的 pthread 库支持。其涉及的多线程开发的最基本概念主要包含三点:线程,互斥锁,条件。其中,线程操作又分线程的创建,退出,等待 3 种。2、互斥锁则包括 4 种操作,分别是创建,销毁,加锁和解锁。3、条件操作有 5 种操作:创建,销毁,触发,广播和等待。其他的一些线程扩展概念,如信号灯等,都可以通过上面的三个基本元素的基

#linux
Linux的编译文件操作

**一、文件的编程**:文件编程的内容很多,但是重点在应用,主要关心如何用代码操作文件,实现文件创建,打开,编辑等自动化执行。二、对文件使用的API打开open读写write/read;光标定位lseek;关闭close三、API的使用1、open函数的使用:参数说明:1.pathname要打开或创建的目标文件(路径)2.flags打开文件时,可以传入多个参数选项,用下面的一个或者多个常量进行“或

#linux#网络#操作系统
kafka的零拷贝

传统的数据文件拷贝过程如下图所示,大概可以分成四个过程:磁盘----》read buffer-----》application buffer-------》socket buffer---------》网卡-------》发送给消费者。

#kafka#java#分布式
到底了