如果flush到HDFS的时候，数据flush了一半之后出问题了，这意味着已经有一半的数据已经发送到HDFS上面了，现在出了问题，同样需要调用doRollback方法来进行回滚，回滚并没有“一半”之说，它只会把整个takeList中的数据返回给channel，然后继续进行数据的读写。如 Sink取数据慢，而 Source 放数据速度快，容易造成 Channel 中数据的积压，如果 putList

今天遇到了昨天的遇到TCP问题，但是我昨天已经处理过了，结果今天又不行了，查了一圈，发现了一个异常，jps之后，还是有一个process information unavailable，重启过后还是存在，本来想着直接执行。快速清除掉这个残留进程。最后，放弃了，因为Hadoop集群还在运行，所以，最后决定还是翻一下/tmp进去单独清理一下。...

## 前言1. 我的Linux配置是Centos 7的版本## 问题描述1. Xshell报错提示如下：这个192.168.88.0是我配置的ip，后端的22是Xshell链接是用的端口号。```cpp[c:\~]$Connecting to 192.168.88.0:22...Could not connect to '192.168.88.0' (port 22): Connection fa

@[toc]## 错误描述; 1. 使用阿里云oss时，引入的依赖aliyun-java-vod-upload报错，导致这个依赖报错的原因时因为阿里没有把这个依赖的包开源（需要我们下载阿里云的官方样例并且手动生成这个包，）  2. 从阿里官网下

这个界面就是傻瓜式配置了 ，但是需要填写服务器密码，服务器密码在阿里云控制台，找到你的实例，选远程连接。在购买完毕阿里云服务器 ECS 后，我这边使用宝塔做一些简单的服务配置。

报错信息为 ：报错原因：阿里云的服务器默认端口是不对外开放的，如果想要供外部访问，需要在安全组中手动添加规则注意：如果还使用了宝塔Linux，那么还需要在宝塔Linux中放行！！！！如果配置好【步骤一】，【步骤二】之后还无法在本地登录mysql数据库，那么需要配置数据库用户访问权限了，因为用户的访问权限默认是localhost，并不能从外部进行访问，需手动设置使用xshell登录服务器，如果不会用

## 问题描述 1. 今天在跑hive sql的时候，报错;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask【从hive log找到的错误提示】，蛮无语的，也看不出啥原因导致的。。。 2. 在网上查了蛮久的，找到一个解决方案## 解决方案 【[参考方案](https://bl

Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、“\t”、“\x001”）、行分隔符（“\n”）以及读取文件数据的方法。对于 Hive 的 String 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符，理论上它可以存储 2GB 的字符数.Hive表中的数据在存储在文件系统

## 数据仓库建模方法数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。适合业务和基础数据存储环境的模型的优点如下：1. 性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的I/O吞吐2. 成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本3. 效率：良好的数据模型能极大地改善用户使用数据的体验，提高

当需要在Java程序中记录多个类型相同的数据内容时，则声明一个一维数组即可，一维数组本质上就是在内存空间中申请一段连续的存储单元。可以通过下标的方式访问数组中的每一个元素。需要注意的是：数组的下标从0开始，对于长度为n的数组，下标的范围是0~n-1。数组的动态初始化，在定义数组的同时就为数组元素分配空间， 数组一旦初始化，其长度是不可变的。数组是相同数据类型的多个元素的容器，元素按线性顺序排列，静