logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

问题记录:No enum constant com.alibaba.datax.plugin.unstructuredstorage.reader.UnstructuredStorageReader

现总结datax与hive,mysql,oracle间的数据类型映射。datax从hive导数据到mysql时报错。datax中数据类型转化异常。把类型修改正确就可以导出!

#hive#mysql
解决DataX报错UnstructuredStorageReader-03的方法

DataX作业运行时出现参数不合法报错,提示仅支持单字符切分但配置了"/01"。问题根源是Hive表默认使用ASCII码\001(^A)作为分隔符,而在JSON配置中需使用Unicode转义格式"\u0001"表示。解决方案包括:1)将分隔符改为"\u0001";2)对于ORC/Parquet格式无需配置分隔符。文中还总结了JSON中常见

#hive
Hadoop集群完全分布式搭建(保姆级教程)

此次搭建实在伪分布的基础上进行完全分布式搭建,hadoop版本是3.3.1,安装目录是/opt/installs/hadoop。

文章图片
#分布式#hadoop#大数据
Hadoop-启用HDFS回收站功能(防止误删数据)

HDFS的回收站(Trash)是一个用于临时存放被删除文件的机制,类似于操作系统中的回收站。它允许用户在误删文件后恢复数据,避免因误操作导致永久丢失。

#hadoop#大数据#hdfs
数据库设计基石:三大范式详解与实战应用指南

第一范式(1 NF):字段不可再拆分。第二范式(2 NF):表中任意一个主键或任意一组联合主键,可以确定除该主键外的所有的非主键值。第三范式(3 NF):在任一主键都可以确定所有非主键字段值的情况下,不能存在某非主键字段 A 可以获取 某非主键字段 B。

#数据库#性能优化#mysql
到底了