#!/bin/bash#hbase org.apache.hadoop.hbase.mapreduce.Import -Dimport.wal.durability=SKIP_WAL namespace:tablename/user/tjoffline/hbase_export_tablename/#hbase org.apache.hadoop.hbase.mapreduce.Impor...

1.抽样从一个表中随机抽样得到一个不重复的数据样本，随机取样SELECT * FROM <Table_Name> DISTRIBUTE BY RAND() SORT BY RAND()LIMIT ;这是使用RAND()函数和LIMIT关键字来获取样例数据。使用DISTRIBUTE和SORT关键字来保证数据是

安装配置1.下载：wgethttp://mirrors.hust.edu.cn/apache/tez/0.8.5/apache-tez-0.8.5-bin.tar.gztar -zxf apache-tez-0.8.5-bin.tar.gzcd apache-tez-0.8.5-bin/confvim tez-site.xml增加一下配置<configuration><property

1.hive mr 太慢了，基于次 适配 spark-sql的功能 ，于是乎，想通过spar启动thriftserver来解决问题1：17/12/29 16:28:59 WARN thrift.ThriftCLIService: Error opening session:java.lang.RuntimeException: Could not load shims in class org.a

一般而言，存储格式分为列式存储和行存储，对于hadoop来时，列式存储有parquet，rcfile，orcfile等，行存储有SequenceFile,MapFile,Avro Datafile等hive中的使用1.orc create table test_orc(...)PARTITIONED BY (day int )STORED AS ORCLOCATION '

1.下载 livylivy为Spark提供了REST接口，有如下特性:* 提供交互式shell* 批量提交* 多用户使用用一个服务(用户模拟)* 可以从任何地方使用REST的方式提交* 无需对代码进行任何修改wget http://archive.cloudera.com/beta/livy/livy-server-0.3.0.zip配置： cat livy-env

程序使用的guava版本和hadoop hbase大数据之类的包冲突，总是报NoSuchMethod和ClassNoDef之类的错误解决方法：将guava-22.0单独打成jar包，并改名，再重新放回源程序基于maven-shade-plugin，guava单独打成jar包，修改包路径，并加入源程序的maven本地仓库1.guava单独打成jar包的pom文件<?xml version="1

1.安装python模块pip install --user kafka-python==1.4.3如果报错压缩相关的错尝试安装下面的依赖yum install snappy-develyum install lz4-develpip install python-snappypip install lz42.生产者#!/usr/bin/env python...