登录社区云，与社区用户共同成长
邀请您加入社区
hue入口：http://hue服务器地址:8888/（默认端口为8888）hue web页面如下选择Data Browser下的Hbase，进入Hbase页面选择Hbase的一个表，点击进入，可查看此表的数据格式Hbase表的数据查询窗口如下，查询语句格式如图主键查询输入主键rowkey，rowkey2说明：查询对应主键rowkey的数据记录例如：查询主键100_1233,100_1237对应记
[b][/b]运行基于HBASE的时间较长的M/R任务时，Region Server报错如下： 早上4点01:46.222 INFO org.apache.hadoop.hbase.regionserver.HRegionServer Scanner -1644657804377547036 lease expired 网上有帖子说是因为scanner没有关闭导致（http://grokbase.
Ssh 同步时间同步 关闭seLinux #vi /etc/selinux/config （将SELINUX改为disabled） 关闭防火墙 #service iptables stop /status 关闭iptables启动级别# chkconfigiptables off chkconfig --listipt
TKT，即票据授予票据，可以形象地比喻为一把“万能钥匙”。在Kerberos认证系统中，当你（作为客户端）想要访问某个服务（如服务器上的某个文件或数据库）时，你首先需要向Kerberos认证中心（Key Distribution Center, KDC）证明你的身份。这个属性对于Kerberos认证过程尤为重要，因为它决定了在AD环境中，哪些加密类型可以被用于票据（ticket）的加密和会话密钥的
cdh升级zookeeper3.6.3以及集成parcels包
在 spark的conf下 创建 hive-site.xml不过在CDH中，hive是默认为hive on spark的，而不是mr新增下面内容：<configuration><property><name>hive.metastore.client.connect.retry.delay</name><value>5</value
前言记得以前用过这个函数，这次开发怎么都找不到了，不常用的原因，也是笔记没做好方法一GROUP_CONCAT(distinct id ORDER BY id DESC SEPARATOR ‘_’)好像是用过的这个报错：Invalid function GROUP_CONCAT可能是版本问题：当前hive版本：hive-common-2.1.1-cdh6.2.0apache-hive-1.2.1-也
1 查卡我的hadoop支撑的压缩方式hdfs 配置控制台收索：io.compression.codecs可见没有LzopCodec方式2LzoCodec和LzopCodec区别LzoCodec和LzopCodec区别两种压缩编码LzoCodec和LzopCodec区别：1. LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如 bytes signature
安装错误：查看日志文件显示：flink/bin/flink-yarn.sh: line 17: rotateLogFilesWithPrefix: command not found。审核更改，将这两项配置security.kerberos.login.keytab、security.kerberos.login.principal设置为空字符串，点击继续.检测parcel，检测到flink的pa
rotateLogFilesWithPrefix: command not found
CDH6.0.1 hive orc导致内存增长问题解决
持续输出 敬请关注大数据架构 湖仓一体化 流批一体 离线+实时数仓各种大数据解决方案 各种大数据新技术实践持续输出 敬请关注
Flink on Yarn -CDH5部署1.1 Flink模式Flink有开发模式，Local-cluster模式，Standalone模式，Yarn模式这里我们搭建在CDH集群上，我们采Flink on Yarn，由Yarn统一管理集群资源1.2 Yarn模式部署独立部署（Standalone）模式由Flink自身提供计算资源，无需其他框架提供资源，这种方式降低了和其他第三方资源框架的耦合性
hadoop生产环境数据块损坏修复方法问题描述：生产环境，早上报红 hdfs丢失块不良命令：hdfs fsck -list-corruptfileblocks检查出丢失快的文件好多人都说删除文件，但是生产环境怎么能随便删除文件解决方案：然后执行修复命令：hdfs debug recoverLease [-path ] [-retries ]例：hdfs debug recoverLease -pa
1、安装kudu点击继续就可以了，2、安装hive配置数据库：库名： hivedb 用户： hive 密码：123456为hive添加连接mysql的驱动包chmod 777 mysql-connector-java.jarcp mysql-connector-java.jar /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hiv
1.6新特性Flink 1.6-有状态流处理的下一步在Flink 1.6.0中，我们继续在较早版本中进行的基础工作：使Flink用户能够无缝地运行快速数据处理并毫不费力地构建数据驱动的数据密集型应用程序。Flink的状态支持是使Flink在实现各种用例时如此通用和强大的关键功能之一。为了使其更容易，社区增加了对状态TTL的本地支持（FLINK-9510，FLINK-9938）。此功能允许在状态过期
12:50:44,201 WARNorg.apache.flink.configuration.GlobalConfiguration- Error while trying to split key and value in configuration file /yarn/nm/usercache/root/appcache/application_1602660926640_0023/con
idea的database tools 中配置hive起因在开发hive sql的时候需要到hue中运行、查看hive sql的语法错误很麻烦，hive能不能像mysql一样集成在idea开发工具中呢？答案是可以的。jdbc driver 下载由于我使用的CDH-6.3.2-1.cdh6.3.2这个版本的平台，所以要使用对应得jar包下载链接：cloudera cdh6 hive jdbc配置1.
编译Impala时遇到了一个maven错误，准确地说是编译testdata模块时报的错。我用的指令是 “./buildall.sh -skiptests -format -testdata”，遇到的错误如下：========================================================================Running mvn-U packag...
开门见山的说，hive中有两个函数percentile和percentile_approx，可以用来计算分位数。而中位数即2分位数，那么同样可以使用该函数计算。具体使用方如下：percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.5，那么就是2分位数，即中位数。percentile_approx：percentile_app
一、系统配置1.hostname在所有机器进行操作1)规划主机名servercmserver.ifoton.com.cnagentagent1.ifoton.com.cnagent2.ifoton.com.cn2)设置主机名hostname cmserver.ifoton.com.cnhostnamectl set-hostname cmserver.ifoton.com.cnhostnamect
一、安装前准备设置HOSTvi /etc/hosts关闭防火墙sudo systemctl disable firewalldsudo systemctl stop firewalld设置SELinuxvi /etc/selinux/config将SELINUX=enforcing 改为SELINUX=permissive，然后重启服务器，或者执行下面命令：setenforce 0开启NTP服务#
第3章 Hadoop运行环境搭建（开发重点）完整hadoop课程：https://item.taobao.com/item.htm?ft=t&id=6232861141013.1 虚拟机环境准备克隆虚拟机修改克隆虚拟机的静态IP修改主机名关闭防火墙创建atguigu用户配置atguigu用户具有root权限（详见《尚硅谷大数据技术之Linux》）7．在/opt目录下创建文件夹（1）在/op
一、准备工作：1、绑定IP192.168.197.129 ，192.168.197.130 ，192.168.197.1312、更改主机名 /etc/hosts192.168.197.129 hd01192.168.197.130 hd02192.168.197.131 hd033、配置免密登录：1、各台虚拟机执行：ssh-keygen -t rsa；2、cd .ssh cat
1.java代码，结构如下入1.pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http:
概念介绍CDH 概览CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。CDH 提供以下特性：灵活性：存储任何类型的数据并使用各种不同的计算框架
CDH6.2离线安装流程1 安装准备1.1 cdh6.2下载方式一：官网下载https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/都下载下来https://archive.cloudera.com/cdh6/6.2.0/parcels/只要el7.parcel 和 el7.parcel.sha1下载式二：...
Cloudera以Hadoop为基础，开发了企业级Hadoop发行版CDH（Cloudera Distribution Including Apache Hadoop），使Hadoop更易于在生产环境中进行安装、配置和管理，推动了Hadoop在企业大数据方面的应用。最后，需要确保服务器的硬件配置满足Cloudera的要求，如内存、CPU和磁盘空间等。Cloudera的核心团队由来自Facebook
cdh交换内存问题
回顾从前，已经在大数据领域混了5年了，经手了不少大数据集群搭建方案，自己也做过许多大数据平台的运维工作，在这里进行阶段性的总结，主要是 原生Hadoop、CDH、Ambari集群搭建对比。
Prometheus + node_exporter +Grafana 监控安装部署一、node_exporter安装与配置node_exporter是Prometheus的一个插件，部署该插件，可以将本地机器的系统资源信息筹集并发送给Prometheus。在需要监控的机器上面都要安装该插件。这里我只演示监控我的两台机器192.168.0.113,192.168.0.114进入到http://pr
荣伟 发自 凹非寺量子位 报道 | 公众号 QbitAI脑机接口到底是商业噱头？还是重大突破？这个东西大公司才能搞？普通人和小公司还有没有机会？想知道答案，快跟着看一下这份《脑机接口深度产...
目录一、CDH介绍二、为什么选择CDH？三、CDH的版本选择 四、安装准备1.节点准备2.节点规划3.下载parcels文件4.tarball下载5.准备以下内容：五、系统初始化1.关闭防火墙（3个节点）2.配置主机名（3个节点）3.修改hosts文件（3个节点）4.配置免密登录（3个节点）5.安装JDK（3个节点）6.检查Python版本（3个节点）7.检查服务器之间的时间是否同步（3个节点）
这是我的第26篇原创今天给大家分享一下大数据体系的职业，以及可能的发展路径。大数据体系全貌组织架构的原则是因事设岗，因岗定人。换句话说，有什么问题，决定了做什么事情，决定了需要什么样的组织...
CM+CDH大数据环境搭建最终完整版一、集群准备1. 连接工具同时发送指令2. 修改基础配置3. 集群规划4. 创建非root用户5. 配置ip地址和主机名映射关系6. 设置swap交换空间7. 关闭大页面压缩8. SeLinux 设置9. 免密登陆10. 时间同步11. 创建目录用于上传安装包12. 配置JDK13. 安装所需要的编译环境（可跳过）14. 安装mysql二、CM+CDH安装1.
你被大数据杀过熟吗？当今企业对数据的重视度越来越高，在大数据系统架构设计层面，大数据架构师需要完成技术决策、技术选型，还需要根据不同时期的业务场景，不断优化和演进软件架构，最终攻克技术难...
全文共计1278字64图，预计阅读时间10分钟来源| CIE智库（转载请注明来源）编辑| 蒲蒲当前，我国经济发展进入新阶段，既面临产业转型升级与重塑国际经济格局的机遇，也面对传统要素...
1、集群集群准备阿里云按需付费云主机即可，或者自己配置三台服务器，2C16G服务器操作系统：Centos7.2 642、安装包JDK：jdk-8u181-linux-x64.tar.gz连接：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html下载地址：https://a
作者:尹宁、余维仁出品：陀螺研究院深圳，最初的原意为深水沟，以田间地头起家，经历了波浪壮阔的四十年发展，从边陲农田演变成繁华都市，以其敢闯敢试、敢为人先、埋头苦干的精神，创造了我国乃至世...
在大数据领域，实时写入(upsert)和快速OLAP查询一直是鱼和熊掌不能兼得，比如apache hudi，要事先决定好是倾向于快速写入还是快速OLAP查询，即Copy On Write Table vs. Merge On Read Table一旦选定好，就不能更改。databricks的delta-io也是类似的实现。而现实往往是希望在近乎实时upsert的同时，能快速的查询，至少是接近列存数
于 2020 年 8 月 7 日-9 日召开的 2020 全球人工智能和机器人峰会（CCF-GAIR 2020）今日正式开幕。CCF-GAIR 2020 峰会由中国计算机学会（CCF）主...
1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。1 检查hdfs是否处于safemode，正常是off[root@shuang conf.cloudera.hdfs]# hdfs dfsadmin -safemode getSafe mode is OFF2 检查hdfs datanode是否健康
专家指南：大数据数据建模的常见问题我最近在How-tos专家系列介绍了如何在大数据系统上数据建模。在演讲过程中，许多与会者提出了一些非常有趣的问题。众所周知，大数据系统围绕结构需求的形式化程度较低，但是对于数据仓库继续为传统用例提供服务而言，建模仍然是非常重要的功能。我想分享一下我在本届会议期间以及访问组织时收到的一些较常见的问题，并对此做出回应。1. 在大数据环境中，是否可以使用任何建模技术..
1.官网文档（1）apachehttp://hadoop.apache.org/http://spark.apache.org/http://flume.apache.org/http://kafka.apache.org/（2）clouderahttp://archive.cloudera.com/cdh5/cdh/52.下载（1）apachehttp:/...
一、Hub架构二、Hub(Cloudera 开源框架)文档：http://gethue.com/http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html#_install_huehttps://github.com/cloudera/hue
导语大家好，我是智能仓储物流技术研习社的社长，你的老朋友，老K。点击了解：知识星球 * 原创电子书 * 深海社区 * 微信群根据公开资料显示，我国AGV企业超过266家，主要分布在广东、...
电网侧采用三相两电平拓扑，LCL滤波器接电网，直流母线挂700V电容。调试时发现，当电网电压突变时，不加前馈的母线电压波动会超过5%，加上后直接压到1%以内。2、三相变流器控制：采用电压外环、电流内环双闭环PI 控制，电网电压和电容电流前馈，电感电流解耦，SVPWM 空间矢量调制。2、三相变流器控制：采用电压外环、电流内环双闭环PI 控制，电网电压和电容电流前馈，电感电流解耦，SVPWM 空间矢量
cloudera
——cloudera
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
乐奇 Rokid 开放社区
天工造物局
DAMO开发者矩阵
