logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

leetcode在线刷题

登录网站 https://leetcode-cn.com/注册账号(使用GitHub账号)

oracle常用命令(DBA)

查看是否锁表查询oracle会话数查询oracle会话数(集群)查询oracle最大连接数查询oracle表多少数据量查看ORACLE表结构新增用户删除用户赋权表给用户修改字段类型删除唯一约束复制表结构查询所有用户所属的表空间查询用户和默认表空间的关系。查询当前用户的表查询表空间使用情况。

#oracle#dba#数据库
hive源数据字段长度问题

COLLATE utf8_bin NULL COMMENT ‘项目配置内容(JSON格式)’;1:修改表中TABLE_PARAMS表 PARAM_VALUE字段的varchar长度。一、hive中创建表时TBLPROPERTIES中的长度问题。二、autoflow报错,提示字段长度不足。

文章图片
#hive#hadoop#数据仓库
flink sql常用函数

mysql写法:flink sql写法:

文章图片
#flink#sql#大数据
SQL正则表达式

筛选出custom_id中全部是数字:select * from om_order where custom_id rlike '^\\d+$' ;

hive某个字段中包括\n(和换行符冲突)

用spark执行SQL保存到Hive中:hiveContext.sql("insert overwrite table test select * from aaa")执行完成,没报错,但是核对结果的时候,发现有几笔数据超出指定范围(实际只包含100/200)最终排查到是ret_pay_remark 字段包含换行符,解决方案:执行SQL中把特殊字符替换掉rege

n2n内网穿透搭建

(一)外网服务器 centos7(腾讯云)#安装依赖包yum install subversion gcc-c++ openssl-devel git cmake#下载n2n源码包git clone https://github.com/meyerd/n2n.git#编译cd n2n/n2n_v2mkdir buildcd buildcmake ..makemake insta...

spark kryo压缩报错问题

由于上游数据湖数据压缩格式改变使用spark sql的thrift jdbc接口查询数据时报错19/07/29 06:12:55 WARN scheduler.TaskSetManager: Lost task 1.0 in stage 1.0 (TID 4, svldl015.csvw.com, executor 1): org.apache.spark.SparkException: Kr..

#spark
sparksql读parquet表执行报错

集群内存:1024G(数据量:400G)(1)报错信息:Job aborted due to stage failure: Serialized task 2231:2304 was 637417604 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consider increas...

spark读写csv文件

如果是spark1.6.0请添加maven:<dependency><groupId>com.databricks</groupId><artifactId>spark-csv_2.10</artifactId><version>1

#spark
    共 22 条
  • 1
  • 2
  • 3
  • 请选择