logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

用Docker作为PaaS的替代方案是否完美无缺

随着数字技术的普及,越来越多的企业面临着海量数据。虽然企业都希望用大数据掘金,然而数字化能力的缺失也使企业极易淹没在这片无边无际的数据海洋里。互联网使得数据的流动和共享成为了可能,云计算技术的发展使数据分析向更加全面的方向迈进。作为云计算的三种服务形式之一,PaaS似乎一直不温不火,裹足不前。Docker的出现似乎又带来了一种新的选择,而且对于开发者来说更加灵活、便捷、易用。既然用户可

#云计算
Yarn参数优化(Fair Scheduler版本)

YARN自从hadoop2.0之后, 我们可以使用apache yarn 来对集群资源进行管理。yarn把可以把资源(内存,CPU)以Container的方式进行划分隔离。YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供处理能力, Container(容器)是YARN中处

#yarn
VUE开发环境搭建(mac版)

1.安装node.jshttp://nodejs.cn/download/ 选择mac版下载后安装即可安装后 terminal 终端打开执行node -v  检查是否安装成功2.配置阿里npm镜像npm install -g cnpm –registry=https://registry.npm.taobao.org3.安装VUEcnpm ins

Spark Streaming 流计算优化记录(5)-分区与内存的优化

8.不一定非得每秒处理一次由于Spark Streaming的原理是micro batch, 因此当batch积累到一定数量时再发放到集群中计算, 这样的数据吞吐量会更大些. 这需要在StreamingContext中设置Duration参数. 我们试着把Duration调成两秒, 这样Spark就会在接收Kafka的模块中积累了2秒的数据后, 在调度作业到集群中计算.结合上述做过的优

Zookeeper与Paxos

Zookeeper是一个开源的分布式协调服务,其设计目标是将那些复杂的且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一些列简单的接口提供给用户使用。其是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/发布、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。其可以保证如下分布式一致性特性。  ① 顺

#分布式#zookeeper
国内连接maven官方的仓库

国内连接maven官方的仓库更新依赖库,网速一般很慢,收集一些国内快速的maven仓库镜像以备用。最新更新:2016年11月11日 18:05:40 阿里云提供Maven私服,我把配置文件贴一下,自己放在maven的conf下就行,setting.xmlhttps://github.com/ae6623/Zebra/blob/master/maven-repo-settings-a

#maven
人工智能学习该读哪些书

人工智能相关岗位中,涉及到的内容包含:算法、深度学习、机器学习、自然语言处理、数据结构、Tensorflow、Python 、数据挖掘、搜索开发、神经网络、视觉度量、图像识别、语音识别、推荐系统、系统算法、图像算法、数据分析、概率编程、计算机数学、数据仓库、建模等关键词,基本涵盖了现阶段人工智能细分领域的人才结构。将上面的岗位涉及到的知识和技术划类,就形成了今天的五份书单:1人工智能科普类:人工智

#人工智能
到底了