VillageSQL is a drop-in replacement for MySQL with extensions.
All examples on this page work on VillageSQL. Install Now →
utf8 的字符集并不是 UTF-8。它是一个每字符三字节的子集(utf8mb3),定格在表情符号出现之前,任何四字节字符——表情符号、许多 CJK 表意文字、数学符号——都无法存入其中。utf8mb4 才是真正的 UTF-8。在 MySQL 8.0 及更高版本上,它是新表的默认值,但在旧版本上创建的表,或在 DDL 中显式指定 utf8 的表,仍然带着这个陷阱。
失败的情形
\xF0\x9F\x9A\x80 是火箭表情符号的四个字节。关闭严格 SQL 模式后,这会变成一个警告,有问题的字符会被悄悄替换为 ?,而字符串的其余部分被保留——这更糟糕:您要在几周后才从数据中发现问题。
找出需要转换的内容
向元数据询问哪些表和列仍在使用三字节 utf8:转换
CONVERT TO CHARACTER SET 会重写表,同时转换列定义和存储的数据:
ALTER 来对待,并用您常用的在线迁移工具来运行。请参阅模式迁移。
转换前需要检查两件事:
- 索引长度。 一个
VARCHAR(255)唯一索引在 utf8mb3 下需要 765 字节,而在 utf8mb4 下需要 1,020 字节。现代 InnoDB 默认值(DYNAMIC行格式)允许 3,072 字节,因此这主要影响从很旧的服务器带过来、使用REDUNDANT或COMPACT行格式的表。如果ALTER因最大键长度错误而失败,请先检查表的行格式。 - 连接字符集。 存储只是路径的一半。如果客户端连接协商的是
utf8mb3,即使列能容纳表情符号,它们也会在传输途中丢失。请验证您的会话实际使用的是什么:
character_set_client 和 character_set_connection 都显示为 utf8mb4。大多数现代驱动程序默认就是这样;较旧的 JDBC 和 PHP 配置可能固定为 utf8。
关于排序规则,简要说明
字符集决定字节的含义;排序规则决定它们如何比较。对于 MySQL 8.x 上的 utf8mb4,utf8mb4_0900_ai_ci 是默认值,也是通常情况下的正确答案:不区分重音、不区分大小写、正确的 Unicode 9.0 排序。在按字符串列联接的表之间混用排序规则会强制转换并可能跳过索引,因此请选定一种并在所有地方使用它。字符集和排序规则深入介绍了比较规则。
另请参阅
- 字符集和排序规则——本指南所属的更广泛的字符集模型
- 模式迁移——在生产环境中安全地运行转换 ALTER
- 选择数据类型——当每个字符都可能占四字节时如何确定列大小
- 将 MySQL 与 ORM 一起使用:Django、Rails 和 Prisma——使用此字符集的 ORM 连接设置
- MySQL 大小写敏感性——解读此字符集附带的排序规则