java.sql.SQLException: valor de cadena incorrecto: '\ xF0 \ x9F \ x91 \ xBD \ xF0 \ x9F…'

Tengo el siguiente valor de cadena: "walmart obama 👽💔"

Estoy usando MySQL y Java.

Recibo la siguiente excepción: `java.sql.SQLException: Valor de cadena incorrecto: '\ xF0 \ x9F \ x91 \ xBD \ xF0 \ x9F ...'

Aquí está la variable en la que estoy tratando de insertar:

var1 varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL`

Mi código Java que está intentando insertar "walmart obama 👽💔" es una declaración preparada. Entonces estoy usando el setString()método.

Parece que el problema es la codificación de los valores 👽💔. ¿Cómo puedo arreglar esto? Anteriormente estaba usando Derby SQL y los valores 👽💔 simplemente terminaron siendo dos cuadrados (creo que esta es la representación del carácter nulo)

¡Toda ayuda es muy apreciada!

Lo que tienes es EXTRATERRESTRIAL ALIEN (U+1F47D)y lo BROKEN HEART (U+1F494)que no está en el plano multilingüe básico. Ni siquiera se pueden representar en Java como un solo carácter "👽💔".length() == 4. Definitivamente no son caracteres nulos y se verán cuadrados si no está utilizando fuentes que los admitan.

MySQL utf8solo admite el plano multilingüe básico, y debe usar utf8mb4en su lugar :

Para un carácter suplementario, utf8 no puede almacenar el carácter en absoluto, mientras que utf8mb4 requiere cuatro bytes para almacenarlo. Dado que utf8 no puede almacenar el carácter en absoluto, no tiene caracteres suplementarios en las columnas utf8 y no necesita preocuparse por convertir caracteres o perder datos al actualizar los datos utf8 de versiones anteriores de MySQL.

Entonces, para admitir estos caracteres, su MySQL debe ser 5.5+ y debe usarlo en utf8mb4todas partes. La codificación de conexión debe ser utf8mb4, el conjunto de caracteres debe ser utf8mb4y la recopilación debe ser utf8mb4. Para Java sigue siendo justo "utf-8", pero MySQL necesita una distinción.

No sé qué controlador está utilizando, pero una forma independiente del controlador de configurar el juego de caracteres de conexión es enviar la consulta:

SET NAMES 'utf8mb4'

Inmediatamente después de hacer la conexión.

Vea también esto para Connector / J :

14.14: ¿Cómo puedo usar UTF8, utf8mb4 de 4 bytes con Connector / J?

Para usar UTF8 de 4 bytes con Connector / J, configure el servidor MySQL con character_set_server = utf8mb4. El conector / J usará esa configuración siempre que no se haya configurado characterEncoding en la cadena de conexión . Esto es equivalente a la autodetección del juego de caracteres.

Ajuste sus columnas y base de datos también:

var1 varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL

Nuevamente, su versión de MySQL debe estar relativamente actualizada para la compatibilidad con utf8mb4.

En general, para guardar símbolos que requieren 4 bytes, debe actualizar el conjunto de caracteres y la colación para utf8mb4:

1. tabla / columna de base de datos: alter table <some_table> convert to character set utf8mb4 collate utf8mb4_unicode_ci
2. conexión al servidor de base de datos ( ver )

En mi entorno de desarrollo para el n. ° 2, prefiero establecer parámetros en la línea de comandos al iniciar el servidor: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci

Por cierto, preste atención al comportamiento del Conector / J con SET NAMES 'utf8mb4':

No emita los nombres del conjunto de consultas con Connector / J, ya que el controlador no detectará que el conjunto de caracteres ha cambiado y continuará utilizando el conjunto de caracteres detectado durante la configuración de la conexión inicial.

Y evite configurar el characterEncodingparámetro en la URL de conexión, ya que anulará la codificación del servidor configurado:

Para anular la codificación detectada automáticamente en el lado del cliente, use la propiedad characterEncoding en la URL utilizada para conectarse al servidor.

Extrañamente, encontré que ELIMINAR &characterEncoding=UTF-8de la JDBC urlfuncionó para mí con problemas similares.

Basado en mis propiedades,

jdbc_url=jdbc:mysql://localhost:3306/dbName?useUnicode=true

Creo que esto respalda lo que @Esailija ha dicho anteriormente, es decir, mi MySQL, que de hecho es 5.5, está descubriendo su propio sabor favorito de codificación UTF-8.

(Tenga en cuenta que también estoy especificando el InputStreamque estoy leyendo como UTF-8en el código java, lo que probablemente no duele) ...

Cómo resolví mi problema.

yo tenía

?useUnicode=true&characterEncoding=UTF-8

En mi url de conexión jdbc de hibernación y cambié el tipo de datos de cadena a texto largo en la base de datos, que antes era varchar.

Agrega la línea useUnicode=true&characterEncoding=UTF-8a tu url jdbc.

En su caso, los datos no se envían mediante UTF-8codificación.

Me enfrenté al mismo problema y lo resolvió mediante el establecimiento de la intercalación de utf8_general_ci para cada columna.

Supongo que MySQL no cree que esto sea un texto UTF8 válido. Probé una inserción en una tabla de prueba con la misma definición de columna (la conexión del cliente mysql también era UTF8) y, aunque hizo la inserción, los datos que recuperé con el cliente CLI de MySQL y JDBC no recuperaron los valores correctamente. Para estar seguro de que UTF8 funcionó correctamente, inserté una "ö" en lugar de una "o" para obama:

johan@maiden:~$ mysql -vvv test < insert.sql 
--------------
insert into utf8_test values(_utf8 "walmart öbama 👽💔")
--------------

Query OK, 1 row affected, 1 warning (0.12 sec)

johan@maiden:~$ file insert.sql 
insert.sql: UTF-8 Unicode text

Pequeña aplicación java para probar con:

package test.sql;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

public class Test
{

    public static void main(String[] args)
    {
        System.out.println("test string=" + "walmart öbama 👽💔");
        String url = "jdbc:mysql://hostname/test?useUnicode=true&characterEncoding=UTF-8";
        try
        {
            Class.forName("com.mysql.jdbc.Driver").newInstance();
            Connection c = DriverManager.getConnection(url, "username", "password");
            PreparedStatement p = c.prepareStatement("select * from utf8_test");
            p.execute();
            ResultSet rs = p.getResultSet();
            while (!rs.isLast())
            {
                rs.next();
                String retrieved = rs.getString(1);
                System.out.println("retrieved=\"" + retrieved + "\"");

            }
        }
        catch (Exception e)
        {
            e.printStackTrace();
        }
    }

}

Salida:

johan@appel:~/workspaces/java/javatest/bin$ java test.sql.Test
test string=walmart öbama 👽💔
retrieved="walmart öbama "

Además, probé la misma inserción con la conexión JDBC y arrojó la misma excepción que está obteniendo. Creo que esto es un error de MySQL. Tal vez ya haya un informe de error sobre tal situación ...

Tuve el mismo problema y después de ir con cuidado contra todos los conjuntos de caracteres y descubrir que estaban bien, me di cuenta de que la propiedad con errores que tenía en mi clase estaba anotada como @Column en lugar de @JoinColumn (javax.presistence; hibernate) y estaba rompiendo todo.

ejecutar

show VARIABLES like "%char%”;

busque el servidor de conjunto de caracteres si no es utf8mb4.

configúrelo en su my.cnf, como

vim /etc/my.cnf

agregar una línea

character_set_server = utf8mb4

por fin reiniciar mysql

Esta configuración useOldUTF8Behavior = true funcionó bien para mí. No dio errores de cadena incorrectos, pero convirtió caracteres especiales como à en varios caracteres y los guardó en la base de datos.

Para evitar tales situaciones, eliminé esta propiedad del parámetro JDBC y en su lugar convertí el tipo de datos de mi columna a BLOB. Esto funcionó perfecto.

Además, el tipo de datos puede usar blob install de varchar o text.