Unicode está destinado a ser un conjunto de caracteres universal para describir todos los caracteres necesarios para el texto escrito que incorpora todos los sistemas de escritura, símbolos técnicos y puntuación.
Voy a preguntar lo que probablemente sea una pregunta bastante controvertida: "¿Debería una de las codificaciones más populares, UTF-16, considerarse nociva?" ¿Por qué hago esta pregunta? ¿Cuántos programadores son conscientes del hecho de que UTF-16 es en realidad una codificación de longitud...
En el caso de que ocurriera una invasión extraterrestre y nos viéramos obligados a admitir sus idiomas en todos nuestros sistemas informáticos existentes, ¿está diseñado UTF-8 de una manera que permita su gran cantidad de caracteres? (Por supuesto, no sabemos si los extraterrestres realmente...
Recientemente intenté implementar un algoritmo de clasificación, AllegSkill, en Python 3. Así es como se ven las matemáticas: No realmente. Esto es lo que escribí: t = (µw-µl)/c # those are used in e = ε/c # multiple places. σw_new = (σw**2 * (1 - (σw**2)/(c**2)*Wwin(t, e)) +...
Pensé que Unicode fue diseñado para solucionar el problema de tener muchas codificaciones diferentes debido a un pequeño espacio de direcciones (8 bits) en la mayoría de los intentos anteriores (ASCII, etc.). ¿Por qué entonces hay tantas codificaciones Unicode? Incluso múltiples versiones de la...
Nuestro software de línea de negocio permite al usuario guardar ciertos datos como CSV . Dado que hay muchos formatos diferentes (todos llamados "CSV") en uso en la naturaleza, estamos tratando de decidir cómo debería ser el "formato predeterminado". Con respecto a los separadores de línea /...
Los Términos de uso de Unicode establecen que cualquier software que use sus archivos de datos (o una modificación de ellos) debe llevar las referencias de licencia de Unicode. Me parece que la mayoría de las bibliotecas Unicode tienen funciones para verificar si un carácter es un dígito, una...
Estoy aprendiendo T-SQL. A partir de los ejemplos que he visto, para insertar texto en una varchar()celda, puedo escribir solo la cadena para insertar, pero para las nvarchar()celdas, en cada ejemplo se prefieren las cadenas con la letra N. Intenté la siguiente consulta en una tabla que tiene...
Una mascota mía está mirando tantos proyectos de software que tienen montañas de código para el soporte de juegos de caracteres. No me malinterpreten, estoy a favor de la compatibilidad, y estoy feliz de que los editores de texto le permitan abrir y guardar archivos en múltiples conjuntos de...
Me imagino que la razón fue rápida, como acceso de matriz al carácter en el índice, pero algunos caracteres no caben en 16 bits, por lo que no funcionaría ... Entonces, si de todos modos tiene que manejar casos especiales, ¿por qué no usar
En el trabajo me encuentro con muchos archivos de texto en japonés en Shift-JIS y otras codificaciones. Causa muchos problemas de mojibake (caracteres ilegibles) para todos los usuarios de computadoras. Unicode tenía la intención de resolver este tipo de problema definiendo un solo juego de...
Unicode tiene quizás 50 espacios \ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u00A0 \ u1680 \ u180E \ u2000- \ u200A \ u2028 \ u2029 \ u202F \ u205F \ u3000] [\ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u00A0 \ u16A u180E \ u2000- \ u200A \ u2028 \ u2029 \ u202F \ u205F \ u3000 y 6 saltos de...
Todo el mundo sabe que PHP tiene problemas con Unicode. La versión 6 se abandona efectivamente debido a las dificultades de implementación de Unicode. Pero me pregunto si alguien sabe cuáles son las razones exactas . ¿Problemas de arquitectura / diseño, problemas de rendimiento, problemas de la...
Estaba viendo la presentación de Jon Skeet (con Tony the Pony) de Dev-Days. Aunque "escribir una función inversa de cadena" codifica la entrevista 101, no estoy seguro de que sea posible escribir una función general inversa de cadena, ciertamente no una que funcione en todas las localizaciones y...
¿UTF-16 tiene ancho fijo o ancho variable? Obtuve diferentes resultados de diferentes fuentes: De http://www.tbray.org/ongoing/When/200x/2003/04/26/UTF : UTF-16 almacena caracteres Unicode en fragmentos de dieciséis bits. De http://en.wikipedia.org/wiki/UTF-16/UCS-2 : UTF-16 (formato de...
Personalmente, encuentro confuso leer el código lleno de identificadores Unicode. En mi opinión, también evita que el código se mantenga fácilmente. Sin mencionar todo el esfuerzo requerido por los autores de varios traductores para implementar dicho soporte. También noto constantemente la falta (o...
Estoy diseñando un formato de archivo y quiero hacerlo bien. Como es un formato binario, el primer byte (o bytes) del archivo no debe formar caracteres de texto válidos (como en el encabezado 1 del archivo PNG ). Esto permite que las herramientas que no reconocen el formato sigan viendo que no se...
He estado buscando una implementación eficiente de String trie. Principalmente he encontrado un código como este: Implementación referencial en Java (según wikipedia) No me gustan estas implementaciones principalmente por dos razones: Solo admiten 256 caracteres ASCII. Necesito cubrir cosas...
Algo que me ha confundido durante mucho tiempo es que tanto software utiliza los términos "charset" y "codificación" como sinónimos. Cuando las personas se refieren a una "codificación" unicode, siempre se refieren a un conjunto de reglas para representar caracteres unicode como una secuencia de...
Digamos que su idioma nativo es el hebreo, y está trabajando en un lenguaje de programación como Python 3, que le permite poner el hebreo en el código fuente. ¡Bien por usted! Tienes un dict: d = {'a': 1} y quieres reemplazar eso acon algo de hebreo. Entonces reemplazas ese único personaje: d =...
He estado trabajando en un adaptador iterador UTF-8. Con lo cual, me refiero a un adaptador que convierte un iterador en una secuencia charo unsigned charen un iterador en una char32_tsecuencia. Mi trabajo aquí se inspiró en este iterador que encontré en línea . Sin embargo, cuando miré a través...