¿Cómo cambiar el CONJUNTO DE CARACTERES (y COLLACIÓN) en una base de datos?

Nuestro programador anterior estableció la clasificación incorrecta en una tabla (Mysql). Lo configuró con intercalación latina, cuando debería ser UTF8, y ahora tengo problemas. Todos los discos con caracteres chinos y japoneses recurren a ??? personaje.

¿Es posible cambiar la colación y recuperar los detalles del personaje?

cambiar la clasificación de la base de datos:

ALTER DATABASE <database_name> CHARACTER SET utf8 COLLATE utf8mb4_0900_ai_ci;

cambiar la clasificación de la tabla:

ALTER TABLE <table_name> CONVERT TO CHARACTER SET utf8 COLLATE utf8mb4_0900_ai_ci;

cambiar colación de columna:

ALTER TABLE <table_name> MODIFY <column_name> VARCHAR(255) CHARACTER SET utf8 COLLATE utf8mb4_0900_ai_ci;

¿Qué significan las partes de utf8mb4_0900_ai_ci?

3 bytes -- utf8
4 bytes -- utf8mb4 (new)

v4.0 --   _unicode_
v5.20 --  _unicode_520_
v9.0 --   _0900_ (new)

_bin      -- just compare the bits; don't consider case folding, accents, etc
_ci       -- explicitly case insensitive (A=a) and implicitly accent insensitive (a=á)
_ai_ci    -- explicitly case insensitive and accent insensitive
_as (etc) -- accent-sensitive (etc)

_bin         -- simple, fast
_general_ci  -- fails to compare multiple letters; eg ss=ß, somewhat fast
...          -- slower
_0900_       -- (8.0) much faster because of a rewrite

Más información:

• ¿Cuáles son las diferencias entre utf8_general_ci y utf8_unicode_ci?
• ¿Cuál es la diferencia entre utf8_general_ci y utf8_unicode_ci?
• ¿Cómo cambiar la clasificación de la base de datos, tabla, columna?
• ¿Cuál es la diferencia entre utf8_general_ci y utf8_unicode_ci?

Aquí está cómo cambiar todas las bases de datos / tablas / columnas. Ejecute estas consultas y generarán todas las consultas posteriores necesarias para convertir todo su esquema a utf8. ¡Espero que esto ayude!

- Cambiar la clasificación predeterminada de la BASE DE DATOS

SELECT DISTINCT concat('ALTER DATABASE `', TABLE_SCHEMA, '` CHARACTER SET utf8 COLLATE utf8_unicode_ci;')
from information_schema.tables
where TABLE_SCHEMA like  'database_name';

- Cambiar TABLE Collation / Char Set

SELECT concat('ALTER TABLE `', TABLE_SCHEMA, '`.`', table_name, '` CHARACTER SET utf8 COLLATE utf8_unicode_ci;')
from information_schema.tables
where TABLE_SCHEMA like 'database_name';

- Cambiar COLUMNA Intercalación / Conjunto de caracteres

SELECT concat('ALTER TABLE `', t1.TABLE_SCHEMA, '`.`', t1.table_name, '` MODIFY `', t1.column_name, '` ', t1.data_type , '(' , t1.CHARACTER_MAXIMUM_LENGTH , ')' , ' CHARACTER SET utf8 COLLATE utf8_unicode_ci;')
from information_schema.columns t1
where t1.TABLE_SCHEMA like 'database_name' and t1.COLLATION_NAME = 'old_charset_name';

Tenga en cuenta que en Mysql, el utf8juego de caracteres es solo un subconjunto del juego de caracteres UTF8 real. Para guardar un byte de almacenamiento, el equipo de Mysql decidió almacenar solo tres bytes de caracteres UTF8 en lugar de los cuatro bytes completos. Eso significa que algunos idiomas y emoji de Asia oriental no son totalmente compatibles. Para asegurarse de que puede almacenar todos los caracteres UTF8, use el utf8mb4tipo de datos utf8mb4_bino utf8mb4_general_ciMysql.

Además de lo que David Whittaker publicó, he creado una consulta que genera la tabla completa y la declaración de modificación de columnas que convertirá cada tabla. Puede ser una buena idea correr

SET SESSION group_concat_max_len = 100000;

primero para asegurarse de que su grupo concat no exceda el límite muy pequeño como se ve aquí .

     SELECT a.table_name, concat('ALTER TABLE ', a.table_schema, '.', a.table_name, ' DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_unicode_ci, ',
        group_concat(distinct(concat(' MODIFY ',  column_name, ' ', column_type, ' CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci ', if (is_nullable = 'NO', ' NOT', ''), ' NULL ',
        if (COLUMN_DEFAULT is not null, CONCAT(' DEFAULT \'', COLUMN_DEFAULT, '\''), ''), if (EXTRA != '', CONCAT(' ', EXTRA), '')))), ';') as alter_statement
    FROM information_schema.columns a
    INNER JOIN INFORMATION_SCHEMA.TABLES b ON a.TABLE_CATALOG = b.TABLE_CATALOG
        AND a.TABLE_SCHEMA = b.TABLE_SCHEMA
        AND a.TABLE_NAME = b.TABLE_NAME
        AND b.table_type != 'view'
    WHERE a.table_schema = ? and (collation_name = 'latin1_swedish_ci' or collation_name = 'utf8mb4_general_ci')
    GROUP BY table_name;

Una diferencia aquí entre la respuesta anterior es que estaba usando utf8 en lugar de ut8mb4 y usando t1.data_type con t1.CHARACTER_MAXIMUM_LENGTH no funcionó para las enumeraciones. Además, mi consulta excluye las vistas, ya que tendrán que modificarse por separado.

Simplemente utilicé un script de Perl para devolver todos estos cambios como una matriz e iteré sobre ellos, arreglé las columnas que eran demasiado largas (generalmente eran varchar (256) cuando los datos generalmente solo tenían 20 caracteres en ellos, así que fue una solución fácil )

Encontré que algunos datos estaban dañados al alterar desde latin1 -> utf8mb4. Parecía que los caracteres latin1 codificados en utf8 en las columnas se burlarían en la conversión. Simplemente mantuve datos de las columnas que sabía que iban a ser un problema en la memoria antes y después de la modificación y los comparé y generé declaraciones de actualización para corregir los datos.

Aquí describe bien el proceso. Sin embargo, algunos de los personajes que no encajaban en el espacio latino desaparecieron para siempre. UTF-8 es un SUPERSET de latin1. No al revés. La mayoría encajará en un espacio de un solo byte, pero los indefinidos no (verifique una lista de latin1; no todos los 256 caracteres están definidos, dependiendo de la definición de mysql latin1)