logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop集群启动机架感知

hadoop集群的机架感知功能是提高hadoop集群网络性能的重要参数,配置hadoop机架感知功能的步骤如下:      1)修改core-site.xml文件,添加以下配置项:topology.script.file.name/opt/modules/hadoop/hadoop-0.20.203.0/Utility/RackAware.py

#hadoop#集群#性能优化 +1
hadoop mapred(hive)执行目录 文件权限问题

在配置其他linux用户使用hive 的cli客户端时,发现该用户没有对/tmp目录的写权限,于是将/tmp目录下权限设置为777:bin  /hadoop fs -chmod -R 777 /tmp,然而第二天来时发现hadoop的文件rush任务失败,报错的日志信息如下:Job Submission failed with exception 'java.io.IOException(The

#hadoop
hadoop hdfs文件权限管理

可以在hdfs-site.xml中添加如下dfs.permissions  false的方式关闭文件权限检查

#hadoop
MongoDB最佳实践

作者: baiyuzhong分类:云计算,选题策划  阅读:5,396 次添加评论文 / Ines Sombra  译 / 李刚将MongoDB加入到我们的服务支持列表中,是整个团队年初工作计划中的首要任务。但我们感觉如果先添加一项对NoSQL存储的支持,而不是先升级已支持的关系型数据库,可能对用户不太好,毕竟目前的用户都使用关系型数据库。所以我们决定将引入MongoDB这项工

#mongodb#postgresql#nosql +2
分析和优化云集群性能

分析和优化云集群性能使用可配置参数监视和调优 Hadoop 集群的性能Yu Li, 软件工程师, IBMYu Li 是一位中国软件工程师。他是 IBM InfoSphere BigInsight 团队的成员,这个团队的任务是在 Apache Hadoop 上构建分析平台。他的专业领域包括云计算、性能调优、数据挖掘、数据库技术和中间件技术。简介: Hadoop 是一个可

#集群#hadoop#mapreduce +1
配置vm虚拟机的端口转发

此配置方法适用于工作机A 配置CRT访问工作机B上安装vm linux虚拟机服务。     1)安装vm虚拟机,配置该虚拟机的网络方式为NAT     2)打开vm软件的虚拟网络配置:      3)打开后选择NAT选项框:将红色框标记的信息记录下来,待修改linux服务器配置时使用;点击蓝色框标记的按钮        4)将Port Forwarding选项框选中

#虚拟机#linux#网络 +1
基于Hadoop平台的并行数据挖掘算法工具-Dodo

查看原文一 基于云计算的海量数据挖掘2008年7 月,《Communications of the ACM》杂志发表了关于云计算的专辑,云计算因其清晰的商业模式而受到广泛关注,并得到工业和学术界的普遍认可。目前工业界推出的云计算平台有Amazon公司的EC2和S3,Google公司的Google Apps Engine, IBM公司的Blue Cloud,Microsoft

#数据挖掘#算法#hadoop +1
基于Hadoop平台的并行数据挖掘算法工具-Dodo

查看原文一 基于云计算的海量数据挖掘2008年7 月,《Communications of the ACM》杂志发表了关于云计算的专辑,云计算因其清晰的商业模式而受到广泛关注,并得到工业和学术界的普遍认可。目前工业界推出的云计算平台有Amazon公司的EC2和S3,Google公司的Google Apps Engine, IBM公司的Blue Cloud,Microsoft

#数据挖掘#算法#hadoop +1
到底了