Sqoop环境搭建前提，已经安装Jdk,mysql,Hadoop,Hive,Zookeeper,HBase。sqoop-1.4.6-cdh5.14.2.tar.gz下载链接：https://pan.baidu.com/s/12ycO9ekiFAZji7yL1Jou5A提取码：laj8mysql 5.1.38驱动包下载链接：https://pan.baidu.com/s/1fSkQYaqUmBSBC

oracle 中实现字符串中查找、替换换行符 chr(10)、chr(13)等。

针对DataX自带的ElasticsearchWriter 插件，按照业务使用需要进行针对性改造。

针对DataX自带的ElasticsearchWriter 插件，按照业务使用需要进行针对性改造。

大数据平台进行数据治理需要，采用Apache Atlas进行数据治理。下载Atlas2.1.0版本源码包。前提：基于CDH（本文使用版本为6.3.2）集群搭建大数据集群，组件服务包含Hdfs、Hive、Hbase、Solr、Kafka、Sqoop、Zookeeper、Impala、Yarn、Spark、Oozie、Phoenix、Hue等。平台没有内置Atlas的Parcel需要额外扩展集成包。下

通过DataHub进行数据目录管理、数据治理、追踪数据血缘，分析数据集概况。github地址：https://github.com/datahub-project/datahub官网地址：https://datahubproject.io/docs/ datahub 模块介绍。

找了很多文章都提供以下两种方式1）设置maven镜像仓库2）pom文件增加不过我试了都没有解决问题。最终直接下载缺失的包，地址如下https://public.nexus.pentaho.org/#browse/search=keyword=pentaho-aggdesigner-algorithm将jar和pom放到maven对应路径下即可。pentaho-aggdesigner-algorit

通过DataHub进行数据目录管理、数据治理、追踪数据血缘，分析数据集概况。github地址：https://github.com/datahub-project/datahub官网地址：https://datahubproject.io/docs/ datahub 模块介绍。

数据库和数据仓库区别：数据库：为某种目的，保存的表型结构化数据。元数据和表数据存放在mysql中数据仓库：为某种目的，结构化/半结构化数据表数据本身不一定放在数据仓库中，还可以放在hdfs中。结构存放在mysql中。select * from tables where table_name = ‘userinfos’ 元数据 表select * from columns where table_n

项目背景：win server 2012 R2 + python3.6+opencv4.4.0+ffmpeg 实现视频图像处理问题描述：import cv2 报错dll找不到1.pip命令安装opencv：pip --default-timeout=100 install opencv-python==4.4.0.46 -i http://pypi.douban.com/simple/ --tru