streamsets-datacollector-all-3.21.0 安装步骤

1.安装jdk8

 jdk安装网上教程很多，在这就不详细记录了

2.下载 streamsets

官网 https://archives.streamsets.com/index.html  注册账户后

下载  Full Tarball Tarball for Linux (Tarball sha1)

在下载的过程中 我们可以创建几个能用到的文件夹

mkdir /data/streamsets/data

mkdir /data/streamsets/log  存放log的地方

mkdir /data/streamsets/resources

3.下载完成后解压

cd /opt/streamsets-datacollector-3.21.0/

tar zxf streamsets-datacollector-all-3.21.0.tgz

4.配置

1）配置环境变量

# 切换root用户

vi /etc/profile

# 在文件最后添加

export SDC_DIST=/opt/streamsets-datacollector-3.21.0

export SDC_JAVA_OPTS="${SDC_JAVA_OPTS} -Xmx10240m -Xms10240m -server"  这个加不加都行

# 保持退出

wq

# 应用环境变量

source /etc/profile

# 测试环境变量

echo $SDC_DIST

2）配置strameset环境

cd /opt/streamsets-datacollector-3.21.0/libexec/

vim sdc-env.sh

这块改下 jvm 看需求改 改不改都行

在就是添加

export SDC_DATA=/data/streamsets/data

export SDC_LOG=/data/streamsets/log

export SDC_RESOURCES=/data/streamsets/resources

3）配置 sdc.properties

cd /opt/streamsets-datacollector-3.21.0/etc

在这个配置文件里主要配置这几项 

production.maxBatchSize   一次抽取数量  (按照自身需求和硬件配置来调整)

runner.thread.pool.size   一次可以开多少个线程，换句话说就是能开几个pipeline 如果你需要的抽取的表比较多 建议多开启 要不会报错

其他的 暂时都不用动，如果有需求可以去官网看看

4）如果需要kafka  hbase等  需要配置hosts文件

5）如果需要使用mysql数据库的话

需要开启mysql binlog

 

5。 启动

nohup bin/streamsets dc &  帐号密码都是 admin

6.错误 (持续整理)

1）Java 1.8 detected; adding $SDC_JAVA8_OPTS of "-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djdk.nio.maxCachedBufferSize=262144" to $SDC_JAVA_OPTS
Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/6dmjXd

修改 ：vi /etc/security/limits.conf

添加

root soft nofile 65535
root hard nofile 65535
* soft nofile 65535
* hard nofile 65535      

本地服务器需要重启

2）mysqlbinlog 0701 initiation error    连接不上jdbc

进去后 确定 jdbc 和binglog 都是安装成功后

进入

cd /opt/streamsets-datacollector-3.21.0/streamsets-libs-extras

创建  streamsets-datacollector-jdbc-lib和streamsets-datacollector-mysql-binlog-lib 在这两个文件夹下 分别在创建lib后

在网上下载 mysql-connector-java-5.1.46.jar  PS 我只知道在网上下载 如果有其他方式 请告知 多谢！

重启服务