presto catalog 动态加载
最近我们在尝试在k8s上部署presto,现在有一个比较难处理的问题就是:presto的catalog的出现变更的时候(增,删,改),只能重新打包镜像,进行滚动升级;而比较理想的方式是:presto的catalog可以动态的增删改,只在presto版本升级的时候才进行镜像发版;目前公司catalog主要有hive,mysql,kudu这3种类别;hive和kudu的catalog几乎不存在变更的情
最近我们在尝试在k8s上部署presto,现在有一个比较难处理的问题就是:presto的catalog的出现变更的时候(增,删,改),presto需要进行滚动升级;而比较理想的方式是:presto的catalog可以动态的增删改,只在presto版本升级的时候才进行镜像发版;
目前公司catalog主要有hive,mysql,kudu这3种类别;hive和kudu的catalog几乎不存在变更的情况,所以我们只需要考虑mysql连接器的变更需求;
实现presto catalog的动态加载有两种比较简单的方式:“推”和“拉”;
“推”:也就是presto server 实例暴露一个catalog变更的接口,由客户端发送catalog 变更的请求,presto server接收到catalog变更请求,更新自身的catalog元数据;这里需要注意的是,客户端需要给所有的presto server(coordinator和worker)发送catalog变更请求
“拉”:presto server 启动一个定时器,每隔固定时间去拉取最新的catalog,更新自身的catalog元数据;
“推”这种方式的优点是catalog更新实时性高,缺点是更改的代码比较多;“拉”这种方式正好和“推”这方式相反;我们这边采用后一种方式。
更新策略是:每隔十分钟获得最新的catalog信息,并与现有的catalog进行比对,然后更新catalog。
现在需要一个接口提供catalog的数据(公司数据平台对catalog进行了维护,这也是为什么采用“拉”这种方式),接口样例代码如下,
注意:为了方便调试,密码没有加密
@Controller
@RequestMapping("/v1")
public class CatalogController {
private String c_split = "\1";
private String f_split = "\2";
@ResponseBody
@RequestMapping(value= "catalog",method = RequestMethod.GET,produces="application/json;charset=UTF-8")
public String getResponse() {
return catalogs();
}
public static String catalogs(){
StringBuilder sb = new StringBuilder();
sb.append("m_mysql1").append(f_split)
.append("jdbc:mysql://127.0.0.1:3306?zeroDateTimeBehavior=convertToNull").append(f_split)
.append("root").append(f_split).append("123456").append(c_split)
.append("m_mysql2").append(f_split)
.append("jdbc:mysql://127.0.0.1:3306?zeroDateTimeBehavior=convertToNull").append(f_split)
.append("root").append(f_split).append("123456")
;
return sb.toString();
}
}
Presto的版本是0.223,下载相应版本的presto源码;需要修改的代码git地址:https://github.com/woloqun/presto_catalogs/blob/master/StaticCatalogStore.java
,替换StaticCatalogStore.java,重新打包presto-main包,命令如下
mvn clean package -DskipTests -pl presto-main -Dair.check.skip-all=true -Dmaven.javadoc.skip=true
编译完后,替换presto/lib/presto-main-0.223.jar,重启即可
更多推荐
所有评论(0)