阿里云oos私有bucket通过key访问链接

下面介绍一下hive 导出的几种方式本地文件直接导出insert overwrite local directory '/data/hive/export/student_info' select * from default.student修改分隔符和换行符insert overwrite local directory '/data/hive/export/student_...

官网地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL通常我们所使用的创建hive表有三种方式1.create table首先我们找到官网对创建表的描述如下：’[]’ 表示可选，’|’ 表示几选一CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] ...

知识背景（1）hive是目前大数据领域，事实上的sql标准。其底层默认是基于MapReduce实现的，但是由于MapReduce速度不够快。因此近几年，陆续出来了新的Sql查询引擎。包括Spark Sql，hive on tez,hiveon spark.SparkSql和hiveon spark是不一样的。sparksql是Spark自...

最近参与公司的服务治理项目，主要目的是为了保证生产服务高可用性，以及高稳定性。为了更好的参与的这个项目，这段时间一直在充电学习这方面的相关知识，包括限流，熔断，服务降级等等。那在学习限流的时候，看到网上很多文章中直接使用了JDK 中 Semaphore 实现了限流器。虽然到达的限流的目的，但是实际上其还是存在很大缺陷。那你如果没有经过完整测试，直接将这套限流方式照搬过来，发到了生产环境，那就等着背

文章地址：http://www.haha174.top/article/details/254300Master实际上可以配置两个，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。Spark Master主备切换可以基于两种机制，一种是...

最近刚好时间写了一些关于SpringBoot的帖子，正好现在把Junit再拿出来从几个方面再说一下。那么先简单说一下为什么要写测试用例1. 可以避免测试点的遗漏，为了更好的进行测试，可以提高测试效率2. 可以自动测试，可以在项目打包前进行测试校验3. 可以及时发现因为修改代码导致新的问题的出现，并及时解决那么本文从以下几点来说明怎么使用Junit，Junit4比3要方便很多，细节大家

19/04/17 02:54:57 ERROR client.TransportClient: Failed to send RPC RPC 7651764253676103503 to /10.169.12.139:45996: java.nio.channels.ClosedChannelExceptionjava.nio.channels.ClosedChannelException...

从上一篇文章中我们得知 spark-shell 实际上调用的是 spark-submit 脚本本篇来看下 spark submit 脚本实现。if [ -z "${SPARK_HOME}" ]; thensource "$(dirname "$0")"/find-spark-homefi# disable randomized hash

NameNode启动过程详细剖析1. FSImageNamenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（sec，由fs.checkpoint.p..