logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Java连接Phoenix

Phoenix JDBC Driver有两种,分别是Thick Driver。直接连接zookeeper和hbase。Thin Driver。构建在http服务之上的jdbc驱动。本文描述Thick Driver的使用方法。包含连接启用Kerberos的安全集群。连接说明根据Phoenix官网描述,使用Phoenix JDBC连接HBase集群的方法如下:Connection conn = Dri

获取keytab文件

使用目标用户登录gateway01.bigdata.zxxk.com主机,例如xingweidong,执行以下命令:ipa-getkeytab -s utility1.bigdata.zxxk.com -p xingweidong@BIGDATA.ZXXK.COM -k ./xingweidong.keytab --password输入密码即可获取keytab文件。参数说明参数说明示例值-sFre

javax.security.auth.login.LoginException: Receive timed out

CDH集群,启用了Kerberos(使用FreeIPA管理),没有启动防火墙。根据公司运维要求,需要启用防火墙。由于端口太多,而且还有动态端口,所以设置了防火墙策略,每个节点对其他节点开放指定范围的端口,节点上运行的服务不同,对其他节点开放的端口范围也不同,这个需要自己测试调整。在设置防火墙策略时,出现了zookeeper服务无法启动的问题,报错如下:2021-01-05 13:14:46,382

#cloudera#运维
git合并commit

在开发一个功能或者修复一个bug时,有时会commit多次代码,这时为了commit历史的完美,会想将多个commit合并为一个,想要实现这个目标,就需要用到,下面记录操作方法,留作笔记。

#git#github
常见距离度量和相似度度量

在模式识别,数据挖掘,机器学习等领域,距离度量和相似度度量有着很广泛的应用,对这些度量算法有一定程度的理解,可以帮助我们更好的处理和优化在这些领域遇到的问题。距离度量算法和相似度度量算法是基础算法,经常被用在其他更高级的算法中。比如K最近邻(KNN)和K均值(K-Means)可以使用曼哈顿距离或者欧式距离作为度量方法。本文介绍一些常见的距离度量算法和相似度度量算法。算法定义描述,部分内容摘自百度百

#算法#机器学习
spark-submit指定python环境

spark-submit提交python任务,使用指定的python环境参考spark Configuration,有如下描述:配置描述spark.pyspark.driver.pythonPython binary executable to use for PySpark in driver. (default is spark.pyspark.python)s...

#spark#python
gitlab找回已删除的分支

清理分支时,不小心删除了还没合并进主分支的特性分支,最终使用git恢复分支的方法成功找回代码。这里直接使用参考文章内容进行说明,作为笔记备份。以下内容摘自 https://www.jianshu.com/p/8f8b264846961,找到该分支的最后一次提交的commitId,在gitlab的activity菜单:2, 在项目代码文件夹中打开git,执行 git checkout -b bran

#git#github
Java连接HBase

Java连接HBase的方法,包含Kerberos认证。代码示例:package com.example.hbase.admin;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.

#java#hbase
到底了