logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用Storm实现实时大数据分析

使用Storm实现实时大数据分析标签: hadoopstorm2012-12-31 10:12 56162人阅读 评论(11) 收藏 举报分类: 大数据处理(11)数据结构与算法(28)版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]摘要:随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth

#storm#hadoop
hadoop强制进行Active/Standby切换的命令

hdfs haadmin -transitionToActive/transitionToStandby -forcemanual nn1

#hadoop#hdfs
实时Hadoop实战篇:基于Storm实时路况分析和实时路径推荐系统

实时Hadoop实战篇:基于Storm实时路况分析和实时路径推荐系统此博文包含图片 (2015-02-16 13:54:06)转载▼标签: gps storm 云计算 it分类: storm/haddop/云计算Hadoop分布式计算系统以其强大的计算性能和扩展能力称霸于海量历史数据处理领域,但是它目前还没能对传统的关系型数据系统(RDBMS:如oracle、SQL Serve

#hadoop#storm
Hadoop集群或者Spark集群IP地址发生改变的处理方法

之所以遇到这个问题是因为之前是在公司的工作机器上创建的三个Ubuntu虚拟机上搭建的Hadoop和spark伪分布集群,由于某种原因离职,还有部分任务没有完成,又不想就此废弃该环境,所以讲虚拟机文件拷贝到硬盘中,所以在我重新配置虚拟机并且导入到之前的虚拟机文件,然后我运行Hadoop的启动命令,发现日志中的master和slave1等节点启动均失败,查看虚拟机的IP后发现IP地址与之前配置的不一样

#hadoop#spark#ubuntu +1
大数据、云计算系统高级架构师课程学习路线图

大数据之Linux+大数据开发篇Java Linux基础 Shell编程 Hadoop2.x HDFS YARN MapReduce ETL数据清洗 Hive Sqoop Flume/Oozieo 大数据WEB工具Hue HBase Storm Storm Scala Spark Spark核心源码剖析 CM 5.3.x管理 CDH 5.3.x集群项目部分项目一:北风网用户行为分析 项目二:驴妈

#大数据
pip instal opencv-python超时

pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com opencv-python

CentOS使用virtualenv搭建独立的Python环境-python虚拟环境

CentOS使用virtualenv搭建独立的Python环境-python虚拟环境virtualenv可以搭建虚拟且独立的python环境,可以使每个项目环境与其他项目独立开来,保持环境的干净,解决包冲突问题。一、安装python可-编译安装;可-yum安装二、安装virtualenvyum源安装:yum install python-virtualenvvirtualenv实际上...

到底了