logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据单机学习环境搭建(10)Pycharm中操作spark和hive

目录1.环境准备2.Pycharm连接Hive3.Pycharm执行py脚本3.1SparkSql操作数据的方式3.2一个完整的pyspark脚本1.环境准备需要提前准备Hadoop、Hive、Spark和Anaconda,以及Pycharm连接Linux的Anaconda环境,具体见本人如下相关文章。Hadoop本地单节点安装Linux使用yum安装MysqlHive单节点安装和启用Spark单

#hive#spark#pycharm
大数据单机学习环境搭建(11)Azkaban单机部署

azkaban-solo-server单机部署一.Azkaban的介绍文档二.下载1.1Azkaban下载1.2依赖下载三.安装2.1Azkaban解压安装2.2配置文件2.3编译一.Azkaban的介绍文档1.Azkaban介绍文档:在 3.0 版本之后,提供了两种模式:独立的“solo-server”模式和分布式多执行器模式。2.文档中提供的克隆git clone https://github

#大数据
FineReport导入Excel数据的完整示例

FineReport导入Excel数据到指定数据库二.配置模板web属性帆软“模板”——“模板web属性”,进行如下配置,主要目的是将“导入Excel”的按钮加入到工具栏中(双击即可),配置到web模板中。配置后点击“预览”按钮,选择“填报预览”预览结果如下图,主要是“导入Excel”和“提交”两个按钮。下面主要还是要配置接入数据库,否则做这些都没有意义三.定义数据连接PostgreSQL数据连接

#etl工程师#经验分享#postgresql +1
FineReport帆软报表使用入门

本文基于帆软内部数据库演示报表的基本创建和使用,不做“工作目录”,“服务器”,“定义数据集”等其他数据源的配置介绍。 内容浅显,但能说明该工具最常用的功能。目录1.模板数据集1.1第一个数据集ds11.2第二个数据集ds22.筛选区编辑2.1参数添加2.2文本控件2.3多选框控件核心设置:数据字典构建3.报表区编辑3.1单元格元素小技巧:自增ID——select(#0)3.2单元格属性核心功能1:

#经验分享#etl
XGBoost模型调参、训练、保存、评估和预测

xgboost模型调参、训练、保存、评估、预测

文章图片
#分类#python
Python修改文件名

文件名称增删改的极简操作

#python#开发语言
SQL使用技巧(6)HIVE开窗函数

先想明白自己要实现什么样的功能,然后再去实践。没有目的的尝试段不可取,会难以理解各开窗函数的真正用法。

文章图片
#sql#hive
XGBoost模型调参、训练、保存、评估和预测

xgboost模型调参、训练、保存、评估、预测

#机器学习#分类#python
FineReport导入Excel数据的完整示例

FineReport导入Excel数据到指定数据库二.配置模板web属性帆软“模板”——“模板web属性”,进行如下配置,主要目的是将“导入Excel”的按钮加入到工具栏中(双击即可),配置到web模板中。配置后点击“预览”按钮,选择“填报预览”预览结果如下图,主要是“导入Excel”和“提交”两个按钮。下面主要还是要配置接入数据库,否则做这些都没有意义三.定义数据连接PostgreSQL数据连接

#etl工程师#经验分享#postgresql
FineReport帆软报表使用入门

本文基于帆软内部数据库演示报表的基本创建和使用,不做“工作目录”,“服务器”,“定义数据集”等其他数据源的配置介绍。 内容浅显,但能说明该工具最常用的功能。目录1.模板数据集1.1第一个数据集ds11.2第二个数据集ds22.筛选区编辑2.1参数添加2.2文本控件2.3多选框控件核心设置:数据字典构建3.报表区编辑3.1单元格元素小技巧:自增ID——select(#0)3.2单元格属性核心功能1:

#经验分享#etl
到底了