cp flume-env.sh.template flume-env.sh加入JAVA_HOME=/home/cdh/java 在conf/avro-flume.confagent3.channels = ch1agent3.sources = avro-source1agent3.

flume 通过avro方式在两台机器之间进行数据传输比如要在192.168.17.18 上把数据传到 192.168.17.171 首先要再两台机器上都部署 flume2 在 17 flume下这样配置 avro-flume.confagent3.channels = ch1agent3.sources = avro-source1agent3.sinks = log

报错现象：要做的修改：//修改字段注释字符集alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;//修改表注释字符集alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) charac

flume 通过avro方式在两台机器之间进行数据传输比如要在192.168.17.18 上把数据传到 192.168.17.171 首先要再两台机器上都部署 flume2 在 17 flume下这样配置 avro-flume.confagent3.channels = ch1agent3.sources = avro-source1agent3.sinks = log

cp flume-env.sh.template flume-env.sh加入JAVA_HOME=/home/cdh/java 在conf/avro-flume.confagent3.channels = ch1agent3.sources = avro-source1agent3.

在/ect/profile中加入export set JAVA_OPTS="-Xmx128m -Xms64m -Xmn32m -Xss16m"能不能生效没有验证

在/ect/profile中加入export set JAVA_OPTS="-Xmx128m -Xms64m -Xmn32m -Xss16m"能不能生效没有验证

前提前提是要先把flume和kafka独立的部分先搭建好。下载插件包下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin把lib目录下的和package下的 都放到flume的lib目录修改原有的flume-conf文件

第一阶段：1，一定要正确设计索引2，一定要避免SQL语句全表扫描，所以SQL一定要走索引（如：一切的 > < != 等等之类的写法都会导致全表扫描）3，一定要避免 limit 10000000,20 这样的查询4，一定要避免 LEFT JOIN 之类的查询，不把这样的逻辑处理交给数据库5，每个表索引不要建太多，大数据时会增加数据库的写入压力第二阶段：1，采用分表技术（大表分小表）

insert into deal_settlementvalues (#{dealId}, #{dealName}, #{status}, #{amount}, NOW())ON DUPLICATE KEY UPDATEtime = NOW()如果您指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个