今天在hue上将数据统计了一下，然后需要导出到mysql中给别人进行展示。由于是第一次在这里导出数据，所以出了一些问题，这里总结一下解决思路与解决办法。一、首先先在mysql中创建导出的表这里要确认字段属性与hive中的一致。CREATE TABLE `unperceived` (`humanid` varchar(50) NOT NULL,`credentialsnum...

这周在开发中遇到一些所需数据但是不在数据库中，需要我们调用API接口向服务器请求信息下来，但是那些信息都是json格式的数据不能直接插入到数据库中。一、首先在pom.xml中的dependencies标签中copy下面的代码，导入gson的jar包：<!-- https://mvnrepository.com/artifact/com.google.code.gson/gson -...

背景08年左右，阿里巴巴开始尝试MySQL的相关研究，并开发了基于MySQL分库分表技术的相关产品，Cobar/TDDL(目前为阿里云DRDS产品)，解决了单机Oracle无法满足的扩展性问题，当时也掀起一股去IOE项目的浪潮，愚公这项目因此而诞生，其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上，完成去IOE的第一步.项目介绍名称:yugong...

遇到的问题今天在添加Oracle Database 的JDBC驱动程序包ojdbc.jar时，这里如果直接进行上传jar包则会报错，REST_1003 - Failed to create directory: lib：解决步骤：说明需要配置streamsets外部库，具体步骤如下A、B、C、D。A、进入到STREAMSETS_DATACOLLECTOR安装的路径一般路径为：/opt/cloude

之前一段时间回归eclipse怀抱，后面项目需求要使用Kotlin。原来想eclipse中下kotlin的插件，但是后面报错说版本不匹配：没办法，只能试试在idea中打开了。结果license过期了？？可能太久没用了，然后找了一个可行的license：QR0WJ4GSK3-eyJsaWNlbnNlSWQiOiJRUjBXSjRHU0szIiwibGljZW5zZWVOYW1lIjoi5o+Q5Y+

遇到的问题今天在添加Oracle Database 的JDBC驱动程序包ojdbc.jar时，这里如果直接进行上传jar包则会报错，REST_1003 - Failed to create directory: lib：解决步骤：说明需要配置streamsets外部库，具体步骤如下A、B、C、D。A、进入到STREAMSETS_DATACOLLECTOR安装的路径一般路径为：/opt/cloude

接下去需要通过kafka传送数据，刚刚同事在cdh中新建的kafka，我想在里面创建topic。直接上手：kafka-topics --zookeeper localhost:2181 --create -replication-factor 1 --partitions 3 --topic testCDH中使用kafka指令跟kafka文档中说明的指令不一样，具体可以看这篇博文。 ...

接下去需要通过kafka传送数据，刚刚同事在cdh中新建的kafka，我想在里面创建topic。直接上手：kafka-topics --zookeeper localhost:2181 --create -replication-factor 1 --partitions 3 --topic testCDH中使用kafka指令跟kafka文档中说明的指令不一样，具体可以看这篇博文。 ...

这周在开发中遇到一些所需数据但是不在数据库中，需要我们调用API接口向服务器请求信息下来，但是那些信息都是json格式的数据不能直接插入到数据库中。一、首先在pom.xml中的dependencies标签中copy下面的代码，导入gson的jar包：<!-- https://mvnrepository.com/artifact/com.google.code.gson/gson -...

基尼不纯度