我是用HDP按的Hadoop，Spark集群1.我在服务器上跑的Spark程序，启动脚本如下/usr/hdp/2.4.0.0-169/spark/bin/spark-submit --class com.lwb.streamingtest.steaming_sql.Spark_Stream_SQL_Test2 --master yarn  --files /usr/hdp/2.4.0.0-...

方案 2: 手动添加 Package打开工程文件 Packages/manifest.json添加 “com.unity.autostreaming”: “0.1.0-preview.1”

1.初始化1000万条数据。作为数据集。我采用的方式是，先在hive中创建hbase表. 之后将数据写入到hbase里.hive创建与hbase的表关联参考我的这篇帖子https://blog.csdn.net/lwb314/article/details/803469932.只有进行查询,首先...

从零搭建基于SpringCloudAlibaba技术栈的微服务架构前言目录服务注册和发现前言最近在学习微服务相关的技术，选择拥抱阿里，而不是Spring Cloud原生，下边的所有内容将是我的一个学习笔记，我会对我用到的技术进行简单的说明，但是不会科普概念，会结合业务说明一下不同场景下的技术用法，可能会对一个技术在不同应用场景下做多个实验，最后欢迎指导和讨论。目录这是一个我学习的顺序服务注册和发现

方法就是使用maven插件，我这里试验了2种插件方法1.第一步：在pom.xml文件中添加，其中标红的部分，我在实际应用中是去掉的，因为我这个jar单纯是工具类，没有主函数，如果有的话，红色部分改成自己的启动类应该就行了第二步：右键pom.xml--->run config里运行命令输入assembly:assembly直接运行后会打出2个jar包，名字分别是下边这2个，名

以下代码是在学习Spark时候自己写的例子，还不成熟，仅供记录和参考下边直接上代码,我在我觉得有用的位置加了比较详细的注解import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import org.apache.hadoop.hbase.client.P...

虽然对于网络来说是炒冷饭，但是我是第一次弄，毕竟网上总是找不到你想要的答案。╮(╯▽╰)╭第一步安装Linux CentOS 7,我是按这个帖子按的，很详细。只是帖子里按的是8我按的是7。...

最近要把项目从HDP2.4.0 升级到HDP3.0.1 其中各种坑，这里记录一下.先列一下主要用到的技术与版本老环境 HDP-2.4.0HADOOP 2.7.1.2.4HBase 1.1.2.2.4Storm 0.10.0.2.4ZooKeeper 3.4.6.2.4Kafka 0.9.0.2.4新环境 HDP-3.0.1HADOOP 3.1.1HBase ...

我的需求是从kafka里取数据数据，然后对数据进行加工，最后保存到HBase里。1.拓扑这里我的spout用的是storm-kafka-0.93.jar里的KafkaSpout类来作为输入源，我自己写的后边贴出来，不过我自己写的有问题，会把Topology跑死package test.kafka;import java.util.Arrays;import st

以下代码是在学习Spark时候自己写的例子，还不成熟，仅供记录和参考下边直接上代码,我在我觉得有用的位置加了比较详细的注解import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import org.apache.hadoop.hbase.client.P...