一、踩坑1.1 shell执行采坑一：报错缺少驱动包解决：把这个配置到环境变量中,并分发配置至集群中的每台机器1.2 workflow问题：缺少包解决：上传对应包到hdfs的oozie目录中二、导入语句与导入mysql基本类似举例：sqoop import --connect jdbc:postgresql://pgm-bp189osqbs69n2c1602...

python自定义函数一、函数定义二、函数参数三、函数嵌套四、函数变量作用域五、闭包一、函数定义# 定义一个函数def my_func(input_text):print(input_text)my_func('hello world')# hello world# 其中# def是定义函数的声明# my_func 是函数的名称# 括号里面的input_text 是函数的参数# print部分是函

阿里云服务器购买全流程最近想把之前的数仓项目从0-1走一遍，思考了一番后准备买三台阿里云的服务器去实现下对应的流程。具体落地流程如下！一、注册阿里云账号阿里云网址为：https://cn.aliyun.com/，注册账号并登录。二、购买ECS云服务器1） 进入控制台2）打开侧边栏，点击云服务器ECS3）侧边栏点击实例，然后点击创建实例4）选择计费方式=》穷人模式按量付费、服务器区域5）选定服务器配

ChatGPT prompt指令大全更多Prompt自动使用，可以在chrome插件中搜索 WebChatGPT，没有账号的，可以拉到文章最下面。目录担任雅思写作考官写小说充当 Linux 终端充当英语翻译和改进者充当论文润色者（拿摘要部分举例）充当英翻中充当英英词典(附中文解释)充当前端智能思路助手担任面试官文字冒险游戏担任产品经理做表格充当英语发音帮手充当旅游指南充当中国亲妈充当“电影/书籍/

Hive表权限hive一、赋角色权限–创建和删除角色create role role_name;drop role role_name;–展示所有rolesshow roles–赋予角色权限grant select on database db_name to role role_name;grant select on [table] t_name to role role_name;–查看角色

阿里云服务器购买全流程最近想把之前的数仓项目从0-1走一遍，思考了一番后准备买三台阿里云的服务器去实现下对应的流程。具体落地流程如下！一、注册阿里云账号阿里云网址为：https://cn.aliyun.com/，注册账号并登录。二、购买ECS云服务器1） 进入控制台2）打开侧边栏，点击云服务器ECS3）侧边栏点击实例，然后点击创建实例4）选择计费方式=》穷人模式按量付费、服务器区域5）选定服务器配

一、Streamsets性能1.1 查看Streamsets 性能点击菜单栏Administrator—SDC Metrics图片:主要是CPU和堆内存的占用情况，当占用很高打开的时候会出现显示延迟的现象。二、相关优化2.1 优化堆内存因为StreamSets使用的配置为java虚拟机分配的1G堆内存，上线时建议根据自己的需求去更改对应的内存大小,修改{$STREAMSETS_HOME}/libe

说在前面的话适合有java基础、Linux基础、具有一定java开发经验的人！参考的资料Hadoop官方参考资料：https://blog.csdn.net/qq_39657909/article/details/84581147如果你想学习Hadoop并且官网看不懂，那么请务必先看看这份资料：h...

Flink任务提交流程一、任务提交流程上篇有简单提到Flink的运行方式有YARN、Mesos、K8s，以及standalone，所以老规矩先根据上篇的内容，先上一个运行图揭示一下当一个应用提交执行时，Flink的各个组件是如何交互协作的组件交互流程如上，那么接下来会详细的跟大家聊聊Yarn上运行细节二、任务提交流程（YARN）先上图：在Flink任务提交后：Client向HD...

一、日志模拟1.1 模拟日志生成java -classpath /data/opt/module/log-produce.jar com.lsl.appclient.AppMain >/data/opt/module/test.log二、flume数据采集2.1 Flume安装2.1.1 日志采集Flume安装1）添加服务2）选择Flume，点击继续3）选择节点4）完成...