logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

insert overwrite自我覆盖的spark替代语法

insert overwrite自我覆盖的spark替代语法1. 问题背景:当我们使用spark-sql的时候, 使用insert overwrite table A select * from A会报错2.解决办法:可以通过临时表的方式解决问题create temporary view TEMP_A asselect * fromA;insert overwrite table Aselect

#spark#大数据#sql
解决mysql特殊字符或者Emoji表情插入报错问题

解决mysql特殊字符或者Emoji表情插入报错问题原因:MySQL的utf8编码最多3个字节,Emoji表情或者某些特殊字符是4个字节,所以数据插入不了,需要修改编码。在MySQL 的"utf8"实际上不是真正的 UTF-8。"utf8"只支持每个字符最多三个字节,而真正的 UTF-8 是每个字符最多四个字节。MySQL 一直没有修复这个 bug,他们在 2010 年发布了一个叫作"utf8mb

文章图片
#mysql#sql#数据库
嘿!大数据 呵! 小文件,对小文件重拳出击!

大数据平台小文件解决办法1. 背景平时只是在大数据平台上写 sparksql 不关注大数据平台文件,今天看了下,发现每个表对应hdfs上的文件数量很对,而且大小不一我们知道这有两个影响:文件数量越多,查询扫描的效率越低文件大小不一,会导致数据倾斜,降低查询效率所以小文件越来越多的问题,急需解决2.解决办法由于我是采用写sparksql的方式生成这些表数据的,所以解决办法也是针对sql脚本的,如果是

#大数据#sql
从 “夯” 到 “拉完了”:MySQL 执行计划全字段深度解析,SQL 性能提升实战

本文介绍了MySQL SQL优化的关键步骤——如何通过执行计划寻找优化点。首先需要准备MySQL数据库环境(5.7版本)、示例数据表和连接工具。重点讲解了执行计划的使用方法,通过在SQL前添加EXPLAIN关键字获取执行计划,并详细解析了执行计划中的关键字段:id(查询顺序)和select_type(查询类型)。文章还创新性地使用网络流行语"夯>顶级>人上人>NPC&g

文章图片
#mysql#sql#adb
Virtualbox主机与虚拟机相互访问

Virtualbox主机与虚拟机相互访问

#网络#服务器#linux
到底了