先说解决办法:

方法一:直接修改数据库、表、字段的编码为utf8mb4(推荐使用);

方法二:使用Java转码解决;

背景:

最近在维护流控系统时,部分销售反馈无法提交工作流,以及发现评论发emoji表情 (图标网站:链接地址🐮🐮🐕)直接存入mysql会报如下错误:

Cause: java.sql.SQLException: Incorrect string value: '\\xF0\\x9F\\x98\\x8D\\xF0\\x9F...' for column 'explain' at 

问题描述:

Java插入表情时,由于Mysql的UTF8编码大小不支持表情的4个字节,导致异常。

问题就是Mysql中utf8字符集不支持,UTF-8编码有可能是两个、三个、四个字节,其中Emoji表情是4个字节,而Mysql的utf8编码最多3个字节,所以导致了数据插不进去。

方法一:

直接修改数据库、表、字段的编码为utf8mb4(推荐使用);

那么如何解决呢?

在mysql控制台输入以下命令,查看是否如下图所示:

SHOW VARIABLES WHERE Variable_name LIKE 'character%' OR Variable_name LIKE 'collation%';


修改database字符集,数据库的编码:

set character_set_database = utf8mb4; 

 数据库服务器的编码:

set character_set_server=utf8mb4;

最后设置表字符集为utf8mb4,以支持表情:

-- 修改表编码
ALTER TABLE `表名` default character set utf8mb4 collate=utf8mb4_general_ci;
-- 修改表的字段编码
ALTER TABLE `表名` convert to CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

然后再次执行要插入的表情,这时候再看看你的数据库,插入表情成功,如下图:

通过MySQL数据库的修改,前端不需要做任何操作,直接会显示。

 以上的修改适用于涉及数据库表比较少的项目,而小编负责的项目400多张表,要每张表都去复制执行的话,工作量太大;而且如果只修改部分表可能会导致,数据库不同编码联合查询排序时,导致编码排序问题;太麻烦了而且容易出错,所有选择全面修改,下面小编提供两种批量处理的方案,提供大家参考:

批处理一:通过MySQL系统表,获取选择的库下所有的表,进行拼接修改语句(推荐使用):

-- 下面是通过拼接方式,输出所有表和字段修改字符集语句:
-- 输出修改表编码语句:
SELECT CONCAT('ALTER TABLE ', TABLE_NAME,
 ' default character set utf8mb4 collate=utf8mb4_general_ci;')
FROM information_schema.`TABLES`
WHERE TABLE_SCHEMA = '需要查询的数据库名称';

-- 输出修改表字段编码语句:
SELECT CONCAT('ALTER TABLE ', TABLE_NAME,
 ' CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;')
FROM information_schema.`TABLES`
WHERE TABLE_SCHEMA = '需要查询的数据库名称';

直接复制输出结果,执行即可,如下图:

批处理二:单表处理,只处理varchar类型的字段修改编码为utf8mb4:

-- 输出针对单个表中,varchar类型的字段进行修改:
SELECT
CONCAT('ALTER TABLE ',TABLE_NAME,' MODIFY COLUMN ',COLUMN_NAME,' ',
COLUMN_TYPE,' CHARACTER SET utf8mb4 COLLATE utf8mb4_bin ',
CASE WHEN IS_NULLABLE='YES' THEN ' DEFAULT NULL ' ELSE ' NOT NULL ' END,
' COMMENT ',"'",COLUMN_COMMENT,"';")
FROM information_schema.`COLUMNS`
WHERE TABLE_SCHEMA = '需要查询的数据库名称' 
	AND DATA_TYPE='varchar'
	AND CHARACTER_SET_NAME!='utf8mb4'
	AND TABLE_NAME='需要查询的表名';

直接复制输出结果,执行即可。

批处理三:通过存储过程批量直接修改字符集:

-- 先把数据库改为utf8mb4字符集
ALTER DATABASE [数据库名] CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

-- 执行以下的脚本创建存储过程,然后再运行即可在已经将库中已经存在的表改为utf8mb4编码
DROP PROCEDURE IF EXISTS UP_CHANGE_UTF8MB4;
DELIMITER $$
CREATE PROCEDURE UP_CHANGE_UTF8MB4()
COMMENT '将当前数据库中所有表的字符集转换成utf8mb4'
BEGIN
DECLARE $i INT;
DECLARE $cnt INT;
DECLARE $NAME VARCHAR(64);
-- #创建临时表,代替游标
DROP TABLE IF EXISTS tmp_Table_name;
CREATE TEMPORARY TABLE tmp_Table_name (
id INT NOT NULL AUTO_INCREMENT,
table_name VARCHAR(64) NOT NULL,
PRIMARY KEY (`id`)
);
-- 插入要处理的表名到临时表中
INSERT INTO tmp_Table_name (table_name)
SELECT
table_name
FROM information_schema.`TABLES`
WHERE TABLE_TYPE = 'BASE TABLE'
AND TABLE_SCHEMA = DATABASE();
-- 循环处理每一张表,改表的字符集
SET $i = 1;
SELECT
COUNT(1) INTO $cnt
FROM tmp_Table_name;
WHILE $i <= $cnt DO
SELECT
table_name INTO $NAME
FROM tmp_Table_name
WHERE id = $i;
	SET @asql = CONCAT('ALTER TABLE ', $NAME, ' CHARSET utf8mb4 COLLATE utf8mb4_unicode_ci; ');
PREPARE asql FROM @asql;
EXECUTE asql;
	SET @asql = CONCAT('ALTER TABLE ', $NAME, ' CONVERT TO CHARSET utf8mb4 COLLATE utf8mb4_unicode_ci; ');
PREPARE asql FROM @asql;
SELECT @asql;
EXECUTE asql;
SET $i = $i + 1;
END WHILE;
DEALLOCATE PREPARE asql;
DROP TABLE tmp_Table_name;
END$$
DELIMITER ;
-- 
-- 执行存储过程
CALL  `UP_CHANGE_UTF8MB4`();
-- 删除存储过程
DROP PROCEDURE  IF EXISTS UP_CHANGE_UTF8MB4;

推荐使用批处理一的方案,存储过程的方案仅提供查看学习。

方法二:

使用java转码解决

<dependency>
     <groupId>com.vdurmont</groupId>
     <artifactId>emoji-java</artifactId>
    <version>3.2.0</version>
</dependency>
    @RequestMapping("/add/content")
    public ResponseEntity insertContent(@RequestBody Content content) {
        String title = content.getTitle(); 
        String titles = EmojiParser.parseToAliases(title);
        content.setTitle(titles);
        Integer integer = emojiMapper.insertContent(content);
        if (integer == 1) {
           return ResponseEntity.ok().build();
        }
        return  ResponseEntity.badRequest().build(); 
    }
 
    @RequestMapping("/get/{id}")
    public Content getById(@PathVariable("id") Integer id) { 
        Content content = emojiMapper.selectById(id);
        String title = EmojiParser.parseToUnicode(content.getTitle());
        content.setTitle(title);
        if (content != null) {
            return content;
        }
        return  null;
    }

 如果影响的字段比较少,可以选择使用该处理方法。

最近处理生产环境突发问题时,总结的处理经验;有任何问题,欢迎大家交流学习和指正~

更多推荐