logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hdfs balancer 指定节点做负载均衡

指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%注意最好是找一个datanode节点执行hdfs balancer命令。常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给

文章图片
#hdfs#负载均衡#hadoop
flink的多种部署模式

这两个人都做过这个项目下的大屏,再来了新的数据新的大屏任务,两个人都能做。- standalone-一个集群跑多个任务,手动分配集群整个的资源,启动起来就已经固定了。-每次提交的job都会创建一个独立的作业执行环境,该作业执行环境仅用于通过客户端提交上来的特定的那个作业。- application-一个任务(作业/应用(同时提交、有依赖关系的多个作业))起一个集群 (提交作业后建立集群)- 如果处

#flink
python遍历文件夹及子文件夹下所有文件并复制到同一文件夹下

3.将文件复制到根目录路径下,并命名新文件名。2.将新文件名放到excel_files中。1.获取路径+文件名构建新文件名。

文章图片
#python#人工智能#开发语言
数据仓库SQL编码规范

业务域中文名业务域命名业务域命名(缩写)命名示例浙二浙江省第二人民医院zher余杭余杭区卫健委yhwjw桐庐桐庐卫健委tlwjw余杭区第一人民医院余杭区第一人民医院yh1数据域中文名数据域命名数据域命名(缩写)命名示例门诊outpatientoutp住院inpatientInp检验LisLis检查risRis病案Mrsmrs电子病历Emremr费用Feefee随访followupfollowup。

#数据库#sql#java
开源组件hive调优

第一个表中的table_a和第二个表中的table_b的临时结果数据连接结果记录为tmp_a_b,当它与第三个表连接时,hive-3.0.0后默认创建的表的 bucket_version=2,临时数据tmp_a_b初始化了 bucketVerison=-1,然后连接了 ReduceSinkOperator Verketison=-1。在dolphinsscheduler对应的数据库中,查询t_ds

#开源#hive#hadoop
linux下centos7 pgadmin4的安装部署

此处需注意,pgadmin是基于python3的(CentOS7默认是python2.7版本),在安装pgadmin4-web的过程中,会安装其依赖的python36版本,如果觉得官方软件源安装太慢,建议先行修改本地系统的yum源,包括【base源、epel源】;安装完成后,会在/etc/yum.repos.d/目录下,生成一个pgadmin4.repo文件,确认此文件存在即可。注:其中pytho

文章图片
#linux#运维#服务器 +1
数据仓库SQL编码规范

业务域中文名业务域命名业务域命名(缩写)命名示例浙二浙江省第二人民医院zher余杭余杭区卫健委yhwjw桐庐桐庐卫健委tlwjw余杭区第一人民医院余杭区第一人民医院yh1数据域中文名数据域命名数据域命名(缩写)命名示例门诊outpatientoutp住院inpatientInp检验LisLis检查risRis病案Mrsmrs电子病历Emremr费用Feefee随访followupfollowup。

#数据库#sql#java
开源组件kettle的安装与使用

Kettle(Pentaho Data Integration) 下载安装&使用介绍/功能汇总-CSDN博客

#etl
常用sql语句--计算周岁

两种常用方式(根据身份证号计算)

文章图片
#sql#数据库#前端
到底了