NiFi数据流实践：实时获取Mysql CDC数据，写入HDFS/Hive。NiFi版本：1.22.0。NiFi官方文档提供了详细的概念说明和使用说明，耐心通读一遍，就可以快速上手开发NiFi数据流。

根据自己的理解，整理了一些机器学习基础知识，如有偏颇，请指正。所谓机器学习，就是使用计算机模拟或实现人类的学习行为。机器学习是实现人工智能的根本途径。下述主要内容为机器学习基本术语的理解和介绍，机器学习领域的主要学习方法介绍，机器学习系统建设阶段的介绍。基本术语实例实例是要对其预测的事物。实例可以是一个图片，或者一段文本。标签标签是预测任务的答案。标签可以是小麦未来的价格、图片中显示的动物品种、音

在日常工作中，经常要通过ssh连接远程服务器，每次连接都输入密码，会比较麻烦。在Window系统上，我习惯使用xshell管理连接，非常方便。在MacOS系统上，没有xshell，而一些类似xshell的工具中，好用的要收费，免费的不好用，于是决定使用iTerm2打造一个好用的ssh神器，提高日常工作效率。话不多说，直接上干货。使用iTerm2打造ssh神器，主要是通过Profiles功能，每个P

描述Ambari注册主机的时候，ambari-agent出现如下错误：NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.解决在ambari-...

Phoenix JDBC Driver有两种，分别是Thick Driver。直接连接zookeeper和hbase。Thin Driver。构建在http服务之上的jdbc驱动。本文描述Thick Driver的使用方法。包含连接启用Kerberos的安全集群。连接说明根据Phoenix官网描述，使用Phoenix JDBC连接HBase集群的方法如下：Connection conn = Dri

使用目标用户登录gateway01.bigdata.zxxk.com主机，例如xingweidong，执行以下命令：ipa-getkeytab -s utility1.bigdata.zxxk.com -p xingweidong@BIGDATA.ZXXK.COM -k ./xingweidong.keytab --password输入密码即可获取keytab文件。参数说明参数说明示例值-sFre

CDH集群，启用了Kerberos（使用FreeIPA管理），没有启动防火墙。根据公司运维要求，需要启用防火墙。由于端口太多，而且还有动态端口，所以设置了防火墙策略，每个节点对其他节点开放指定范围的端口，节点上运行的服务不同，对其他节点开放的端口范围也不同，这个需要自己测试调整。在设置防火墙策略时，出现了zookeeper服务无法启动的问题，报错如下：2021-01-05 13:14:46,382

在模式识别，数据挖掘，机器学习等领域，距离度量和相似度度量有着很广泛的应用，对这些度量算法有一定程度的理解，可以帮助我们更好的处理和优化在这些领域遇到的问题。距离度量算法和相似度度量算法是基础算法，经常被用在其他更高级的算法中。比如K最近邻（KNN）和K均值（K-Means）可以使用曼哈顿距离或者欧式距离作为度量方法。本文介绍一些常见的距离度量算法和相似度度量算法。算法定义描述，部分内容摘自百度百

spark-submit提交python任务，使用指定的python环境参考spark Configuration，有如下描述：配置描述spark.pyspark.driver.pythonPython binary executable to use for PySpark in driver. (default is spark.pyspark.python)s...

清理分支时，不小心删除了还没合并进主分支的特性分支，最终使用git恢复分支的方法成功找回代码。这里直接使用参考文章内容进行说明，作为笔记备份。以下内容摘自 https://www.jianshu.com/p/8f8b264846961，找到该分支的最后一次提交的commitId，在gitlab的activity菜单：2, 在项目代码文件夹中打开git，执行 git checkout -b bran