logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据:Kafka重要概念

1kafka的iSR,AR代表什么kafka需要所有的iSR全部同步完成,则表示同步成功AR:分区的所有副本1、AR在Kafka中维护了一个AR列表,包括所有的分区的副本。AR又分为ISR和OSR。AR = ISR + OSR。AR、ISR、OSR、LEO、HW这些信息都被保存在Zookeeper中。1.ISRISR中的副本都要同步...

#kafka
数据倾斜--大数据面试

1、什么是数据倾斜我们在用hive的时候,有时候跑一个简单的join语句,但是却跑了长时间,有的时候我们会觉得集群资源不够导致的,但是很大情况下就是出现了数据倾斜的情况。

人脸识别opencv

opencv与dlib介绍1.1 opencv介绍opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉库,可以运行在liunx,windows,android和mac os操作系统上。它轻量级而且高效由一系列c函数和少量c++类构成。同时提供python ,ruby ,matlab等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。opencv目前主要用c++语言开发,它主要接口

#图像处理#matlab#计算机视觉
hadoop 1000台集群优化经验---大数据面试

hdfs 是一个分布式系统,只要有足够的资源,可以扩容到上千台的集群,name node rpc queue time在持续的一周左右时间性能恶化。在极端环境下,出现一个rpc查询需要等待好几分钟。l

AI专业学习路径

第一阶段:Ai基础1、AI基础概览(1)ai基础概念(2)全栈Ai战略2、数学基础知识(1) 高等数学(2) 凸优化(3) 线性代数(4) 概率论与数理统计(5) 信息论3、python编程知识(1) Python介绍(2) Python基础(3) Python高级(4) Python实验4、常用框架工具(1) Python科学计算库Numpy(2) Python数据分析处理库Pandas(3)

#python#机器学习#数据挖掘 +1
量化交易

定位:掌握数据挖掘/机器学习技术的应用场景从事量化策略工程师、量化策略分析方向目标:掌握回测框架的使用掌握股标的量化投资策略最化交易简介了解量化交易的定义以及类别说明量化交易研究流程了解量化交易项目的工作内容什么是量化交易学习目标目标:了解量化交的的定义量化交易:定义量化交易(量化投资)是指借助现代统计学和数据的方法,利用计算机来进交易的证券投资方式。量化交易从庞大的历史数据中海选...

#python
ntp服务配置

ntpd(Network Time Protocol daemon)是 Linux 操作系统的一个守护进程,用于校正本地系统与时钟源服务器之间的时间,完整的实现了 NTP 协议。初始运行 NTP 时,poll 值会比较小,和服务器同步的频率增加,建议尽快调整到正确的时间范围。初始运行 NTP 时,poll 值会比较小,和服务器同步的频率增加,建议尽快调整到正确的时间范围。初始运行 NTP 时,po

#linux#服务器#运维
Flink第一章实时计算引擎

Flink是一个针对流数据和批数据的分布式处理引擎,代码主要是由java实现,部分代码是scala。它可以处理有界的批量数据集,也可以处理无界的实时数据集。其所要处理的主要场景就是流数据、批数据只是流数据的一个极限特例而已,所以Flink也是一款真正的流批流一的计算引擎。

#flink
大数据生态技术组件

1、离线查询引擎pig :数据流式处理 数据仓库系统,基于hadoop的数据流执行引擎,利用mapreduce并行处理数据,使用pig Latin语言表达数据流。Hive:HiveQL数据仓库系统 是构建在Hadoop之上的数据仓库,用于解决海量结构化的日志数据的统计问题,其语言结构HQL,类似于SQL,但又不完全相同。Spark SQL:PhoenixLucene/Solr/Elasticsea

Connecting to https://XXXXXXXXXXXXXXXXXXXXXXXX:8440/ca

INFO 2017-08-05 01:14:38,849 HeartbeatHandlers.py:115 - Stop event receivedINFO 2017-08-05 01:14:38,849 NetUtil.py:125 - Stop event received INFO 2017-08-05 01:14:38,849 ExitHelper.py:53 - Performi

#数据库
    共 30 条
  • 1
  • 2
  • 3
  • 请选择