最近我们在尝试在k8s上部署presto,现在有一个比较难处理的问题就是:presto的catalog的出现变更的时候(增,删,改),presto需要进行滚动升级;而比较理想的方式是:presto的catalog可以动态的增删改,只在presto版本升级的时候才进行镜像发版;

目前公司catalog主要有hive,mysql,kudu这3种类别;hive和kudu的catalog几乎不存在变更的情况,所以我们只需要考虑mysql连接器的变更需求;

实现presto catalog的动态加载有两种比较简单的方式:“推”和“拉”;

“推”:也就是presto server 实例暴露一个catalog变更的接口,由客户端发送catalog 变更的请求,presto server接收到catalog变更请求,更新自身的catalog元数据;这里需要注意的是,客户端需要给所有的presto server(coordinator和worker)发送catalog变更请求

“拉”:presto server 启动一个定时器,每隔固定时间去拉取最新的catalog,更新自身的catalog元数据;

“推”这种方式的优点是catalog更新实时性高,缺点是更改的代码比较多;“拉”这种方式正好和“推”这方式相反;我们这边采用后一种方式。

更新策略是:每隔十分钟获得最新的catalog信息,并与现有的catalog进行比对,然后更新catalog。

现在需要一个接口提供catalog的数据(公司数据平台对catalog进行了维护,这也是为什么采用“拉”这种方式),接口样例代码如下,

注意:为了方便调试,密码没有加密

@Controller
@RequestMapping("/v1")
public class CatalogController {

    private String c_split = "\1";
    private String f_split = "\2";
    
    @ResponseBody
    @RequestMapping(value= "catalog",method = RequestMethod.GET,produces="application/json;charset=UTF-8")
    public String getResponse() {
        return catalogs();
    }
    public static String catalogs(){
        StringBuilder sb = new StringBuilder();
        sb.append("m_mysql1").append(f_split)
                .append("jdbc:mysql://127.0.0.1:3306?zeroDateTimeBehavior=convertToNull").append(f_split)
                .append("root").append(f_split).append("123456").append(c_split)

                .append("m_mysql2").append(f_split)
                .append("jdbc:mysql://127.0.0.1:3306?zeroDateTimeBehavior=convertToNull").append(f_split)
                .append("root").append(f_split).append("123456")
        ;
        return sb.toString();
    }
    
}

Presto的版本是0.223,下载相应版本的presto源码;需要修改的代码git地址:https://github.com/woloqun/presto_catalogs/blob/master/StaticCatalogStore.java

,替换StaticCatalogStore.java,重新打包presto-main包,命令如下

mvn clean package -DskipTests -pl presto-main -Dair.check.skip-all=true -Dmaven.javadoc.skip=true

编译完后,替换presto/lib/presto-main-0.223.jar,重启即可

 

 

 

Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐