一直在看scala中关于协变和逆变，也一直没太明白，只是简单的记住了甚至记忆周期几个礼拜的结论：型变在scala中灵活的分为了不变，逆变和协变协变是可以用自己替换需要自己父亲的位置而是允许的，也就是当参数需要父类型参数时你可以传入子类型逆变就是可以用父亲替换儿子的位置而是允许的，也就是当参数需要子类型的时候可以传入父类型不变就是不能改变参数类型假定Student是Pers...

windows 10 下安装docker desktop：拉取nginx测试:docker pull nginx报错：Get https://registry-1.docker.io/v2/: net/http: TLS handshake timeout.配置国内镜像加速:参考：https://www.daocloud.io/mirror#accelerator-doc加入：ht...

创建maven项目：使用Idea，如果没有安装scala插件，需要先安装插件：安装之后才能在项目中libraries中看到scala sdk安装截图：可以使用Idea直接下载scala对应版本，目前spark2.3最高支持到scala 2.11.12。创建scala 的maven项目：直接next，或者选择scala对应均可，按要求填写项目名称等，继续next，...

导入/导出是ORACLE幸存的最古老的两个命令行工具，其实我从来不认为Exp/Imp是一种好的备份方式，正确的说法是Exp/Imp只能是一个好的转储工具，特别是在小型数据库的转储，表空间的迁移，表的抽取，检测逻辑和物理冲突等中有不小的功劳。当然，我们也可以把它作为小型数据库的物理备份后的一个逻辑辅助备份，也是不错的建议。对于越来越大的数据库，特别是TB级数据库和越来越多数据仓库的出现，EXP/IM

总结：配置cm-server的yum本地安装路径，使用yum安装好cm-server即可，cm-agent无需手动到节点去安装，cm会自动在节点上安装。parcels文件不用安装yum本地源，后续直接拷贝到cm server 的/opt/cloudera/parcel-repo/下即可。jdk手动安装，目录必须是：/usr/java/jdk-version，否则报错yum需要安装前期的依...

使用ssl：jdbc:hive2://<host>:<port>/<db>;ssl=true;sslTrustStore=<trust_store_path>;trustStorePassword=<trust_store_password>trust_sto

先上结论：sparksql中不支持create external table外部表的创建，只能是非external表。使用外部表，可以直接加载数据并加载到DateSet.createOrReplaceTempView中完成。执行如下sql:// spark sql native syntax "USING HIVE"sql(&am

1.离线安装docker首先安装docker服务，因为是离线主机所有需要手动安装：最开始安装如下rpm包，但是依赖忽略，导致无法启动docker service 。安装包下载：https://download.csdn.net/download/mar_ljh/10627546这里推荐使用yum来安装：先还是要下载上面链接提供的 rpm包集合。然后在：/etc/yum.re...

1.配置bin到path2.mysql解压版本在根目录创建my.ini3.初始化数据库：mysqld --initialize --console ，这里会生成一个初始密码，需要记录下来，否则需要删除datadir目录重新初始化D:\dev\mysql-8.0.11-winx64>mysqld --initialize --console2018-06-17T21:06:14...

使用cat /proc/1/cgroup原理：容器是通过 cgroup 实现资源限制，判断容器是否在一个 cgroup 组中如果是docker，显示:12:cpuset:/kubepods/burstable/podc....11:cpuacct,cpu:/kubepods/burstable/podc....10:oom:/9:pids:/kubepods/burstable/podc....8