<0xEF, 0xBB, 0xBF> carácter que aparece en los archivos. ¿Cómo eliminarlos?

Question 1

Estoy comprimiendo archivos JavaScript y el compresor se queja de que mis archivos tienen ï»¿carácter.

¿Cómo puedo buscar estos personajes y eliminarlos?

Question 2

perl -pi~ -CSD -e 's/^\x{fffe}//' file1.js path/to/file2.js

Asumiría que la herramienta se romperá si tiene otro utf-8 en sus archivos, pero si no, tal vez esta solución pueda ayudarlo. (Sin probar ...)

Editar : agregó la -CSDopción, según el comentario de tchrist.

Question 3

Puede eliminarlos fácilmente usando vim , estos son los pasos:

1) En su terminal, abra el archivo usando vim:

vim file_name

2) Elimine todos los caracteres BOM :

:set nobomb

3) Guarde el archivo:

:wq

Question 4

Otro método para eliminar esos caracteres, usando Vim :

vim -b nombreArchivo

Ahora esos caracteres "ocultos" son visibles ( <feff>) y pueden eliminarse.

Question 5

Gracias por las respuestas anteriores, aquí hay una variante sed (1) por si acaso:

sed '1s/^\xEF\xBB\xBF//'

Question 6

En Unix / Linux:

sed 's/\xEF\xBB\xBF//' < inputfile > outputfile

En MacOSX

sed $'s/\xEF\xBB\xBF//' < inputfile > outputfile

Observe el $ después de sed para mac.

En Windows

Hay Super Sed, una versión mejorada de sed. Para Windows, este es un .exe independiente, diseñado para ejecutarse desde la línea de comandos.

Question 7

Usar la cola podría ser más fácil:

tail --bytes=+4 filename > new_filename

Question 8

La solución de @ tripleee no funcionó para mí. Pero cambiar la codificación del archivo a ASCII y nuevamente a UTF-8 funcionó :-)

Question 9

He usado vimgrep para esto

:vim "[\uFEFF]" *

también comando normal de búsqueda de vim

/[\uFEFF]

Question 10

El comando 'archivo' muestra si la lista de materiales está presente:

Por ejemplo: 'file myfile.xml' muestra: "Documento XML 1.0, texto Unicode UTF-8 (con BOM), con líneas muy largas, con terminadores de línea CRLF"

dos2unix eliminará la lista de materiales.

Question 11

En Windows, puede usar la utilidad de recodificación retroportada de UnxUtils .

Question 12

En Sublime Text puedes instalar el paquete Highlighter y luego personalizar la expresión regular en su configuración de usuario.

Aquí agregué \uFEFFal final de la highlighter_regexpropiedad.

{
    "highlighter_enabled": true,
    "highlighter_regex": "(\t+ +)|( +\t+)|[\u2026\u2018\u2019\u201c\u201d\u2013\u2014\uFEFF]|[\t ]+$",
    "highlighter_scope_name": "invalid",
    "highlighter_max_file_size": 1048576,
    "highlighter_delay": 3000
}

Para sobrescribir la configuración predeterminada del paquete, coloque el archivo aquí:

~ / .config / sublime-text-3 / Packages / User / highlighter.sublime-settings

Question 13

Sugiero el uso de la herramienta "dos2unix", pruébelo para ejecutarlo dos2unix ./thefile.js.

Si es necesario, intente usar algo como esto para varios archivos:

for x in $(find . -type f -exec echo {} +); do dos2unix $x ; done

Mis saludos.

Question 14

Guarde el archivo sin firma de código.

Answer 1

86

Estoy comprimiendo archivos JavaScript y el compresor se queja de que mis archivos tienen ï»¿carácter.

¿Cómo puedo buscar estos personajes y eliminarlos?

file unicode utf-8 utf Quintin Par
fuente

16

Eso no es <U+FEFF>, es decir, <0xEF,0xBB,0xBF>esa es la lista de materiales de los archivos UTF8, por lo que debe cambiar el título. ¿Cómo le gustaría eliminarlos? ¿Por hadas mágicas? ¿Con la herramienta de línea de comandos? ¿Editando uno por uno? Notepad ++ puede cambiar la codificación a UTF8 sin BOM. Por ejemplo, simplemente buscando en Google 5 segundos de "strip BOM utf8". He encontrado esto para Linux: ueber.net/who/mjl/projects/bomstrip

xanatos

1

Podría ayudarlo a obtener una respuesta que se relacione específicamente con su problema si nos dice qué herramienta de JavaScript está utilizando para realizar la compresión, en qué plataforma y qué otras herramientas son parte de su proceso de compilación.

SingleNegationElimination

15

Las listas de materiales en UTF-8 son absolutamente basura. Necesita encontrar al productor de ese archivo y decirle que lo elimine @ # %%.

tchrist

4

@peterflynn: U+FEFFes el punto de código Unicode que se usa para una lista de materiales, pero la lista de materiales en sí es cómo se codifica ese punto de código (UTF-8:, 0xEF 0xBB 0xBFUTF-16LE:, 0xFF 0xFEUTF-16BE:, 0xFE 0xFFetc.). Entonces, los archivos en cuestión están codificados en UTF-8, que el compresor detecta al decodificarlos en puntos de código Unicode reales.

Remy Lebeau

4

@xanatos Independientemente de lo que sea, así es como se manifiesta, y así es como la gente puede encontrar fácilmente esta pregunta usando los motores de búsqueda.

BartoszKP

Answer 2

16

Eso no es <U+FEFF>, es decir, <0xEF,0xBB,0xBF>esa es la lista de materiales de los archivos UTF8, por lo que debe cambiar el título. ¿Cómo le gustaría eliminarlos? ¿Por hadas mágicas? ¿Con la herramienta de línea de comandos? ¿Editando uno por uno? Notepad ++ puede cambiar la codificación a UTF8 sin BOM. Por ejemplo, simplemente buscando en Google 5 segundos de "strip BOM utf8". He encontrado esto para Linux: ueber.net/who/mjl/projects/bomstrip

xanatos

Answer 3

1

Podría ayudarlo a obtener una respuesta que se relacione específicamente con su problema si nos dice qué herramienta de JavaScript está utilizando para realizar la compresión, en qué plataforma y qué otras herramientas son parte de su proceso de compilación.

SingleNegationElimination

Answer 4

15

Las listas de materiales en UTF-8 son absolutamente basura. Necesita encontrar al productor de ese archivo y decirle que lo elimine @ # %%.

tchrist

Answer 5

4

@peterflynn: U+FEFFes el punto de código Unicode que se usa para una lista de materiales, pero la lista de materiales en sí es cómo se codifica ese punto de código (UTF-8:, 0xEF 0xBB 0xBFUTF-16LE:, 0xFF 0xFEUTF-16BE:, 0xFE 0xFFetc.). Entonces, los archivos en cuestión están codificados en UTF-8, que el compresor detecta al decodificarlos en puntos de código Unicode reales.

Remy Lebeau

Answer 6

4

@xanatos Independientemente de lo que sea, así es como se manifiesta, y así es como la gente puede encontrar fácilmente esta pregunta usando los motores de búsqueda.

BartoszKP

Answer 7

18

perl -pi~ -CSD -e 's/^\x{fffe}//' file1.js path/to/file2.js

Asumiría que la herramienta se romperá si tiene otro utf-8 en sus archivos, pero si no, tal vez esta solución pueda ayudarlo. (Sin probar ...)

Editar : agregó la -CSDopción, según el comentario de tchrist.

tripleee
fuente

1

Debe ejecutar con el -CSDinterruptor, o con el PERL_UNICODEenvariable configurado en SD, para que eso funcione.

tchrist

Regexp funciona bien para eliminar el carácter <fffe> al principio de una línea, para reemplazar todos los caracteres <fffe> en una línea: 's / \ x {fffe} // g'.

Diego Pino

2

En Mac OSX, tuve que cambiar a:, perl -CSD -pe 's/^\x{feff}//' file.csvobserve el cambio de <fffe> a <feff>.

mpettis

1

@mpettis Entonces, eso no es una lista de materiales, sino una lista de materiales con los bytes invertidos. Podría suceder en cualquier plataforma, si convierte UTF-16 a UTF-8 y obtiene un orden de bytes incorrecto (¡aunque el propósito de la lista de materiales es evitar ese error!)

tripleee

1

@blong ¿Qué pasa con eso? Haga una pregunta por separado si no puede resolverlo (pero probablemente se marcará como un duplicado; primer

acceso de

Answer 8

1

Debe ejecutar con el -CSDinterruptor, o con el PERL_UNICODEenvariable configurado en SD, para que eso funcione.

tchrist

Answer 9

Regexp funciona bien para eliminar el carácter <fffe> al principio de una línea, para reemplazar todos los caracteres <fffe> en una línea: 's / \ x {fffe} // g'.

Diego Pino

Answer 10

2

En Mac OSX, tuve que cambiar a:, perl -CSD -pe 's/^\x{feff}//' file.csvobserve el cambio de <fffe> a <feff>.

mpettis

Answer 11

1

@mpettis Entonces, eso no es una lista de materiales, sino una lista de materiales con los bytes invertidos. Podría suceder en cualquier plataforma, si convierte UTF-16 a UTF-8 y obtiene un orden de bytes incorrecto (¡aunque el propósito de la lista de materiales es evitar ese error!)

tripleee

Answer 12

1

@blong ¿Qué pasa con eso? Haga una pregunta por separado si no puede resolverlo (pero probablemente se marcará como un duplicado; primer

acceso de

Answer 13

185

Puede eliminarlos fácilmente usando vim , estos son los pasos:

1) En su terminal, abra el archivo usando vim:

vim file_name

2) Elimine todos los caracteres BOM :

:set nobomb

3) Guarde el archivo:

:wq

Mohammad Anini
fuente

Esta solución funcionó para mí. Es más simple que la respuesta seleccionada. Gracias

szydan

Usé esta gran solución a pesar de que normalmente soy un partidario de emacs. vim ftw

Ellen Spertus

Answer 14

Esta solución funcionó para mí. Es más simple que la respuesta seleccionada. Gracias

szydan

Answer 15

Usé esta gran solución a pesar de que normalmente soy un partidario de emacs. vim ftw

Ellen Spertus

Answer 16

30

Otro método para eliminar esos caracteres, usando Vim :

vim -b nombreArchivo

Ahora esos caracteres "ocultos" son visibles ( <feff>) y pueden eliminarse.

RUMANIA_engineer
fuente

Answer 17

20

Gracias por las respuestas anteriores, aquí hay una variante sed (1) por si acaso:

sed '1s/^\xEF\xBB\xBF//'

Michael Shigorin
fuente

1

Otras fuentes sugieren anteponer la figura 1 al patrón, como en "sed '1 s / \ xEF \ xBB \ xBF //'", para que solo coincida con la primera línea. Sin embargo, para mí en Mac OS X, ninguna de las dos formas funciona.

Marian

1

Esto funcionó y fue la mejor solución para mí. ¡Gracias Señor!

Vance Lucas

1

Me encantó esta solución. Más fácil de implementar y aún escalable ... :)

Piko

1

@Marian Un poco tarde, pero puede verificar la respuesta de Masum que muestra por qué no funcionó en Mac.

Alguien todavía te usa MS-DOS

1

Agregue -i a sed para actualizar los archivos con los cambios.

Johan

Answer 18

1

Otras fuentes sugieren anteponer la figura 1 al patrón, como en "sed '1 s / \ xEF \ xBB \ xBF //'", para que solo coincida con la primera línea. Sin embargo, para mí en Mac OS X, ninguna de las dos formas funciona.

Marian

Answer 19

1

Esto funcionó y fue la mejor solución para mí. ¡Gracias Señor!

Vance Lucas

Answer 20

1

Me encantó esta solución. Más fácil de implementar y aún escalable ... :)

Piko

Answer 21

1

@Marian Un poco tarde, pero puede verificar la respuesta de Masum que muestra por qué no funcionó en Mac.

Alguien todavía te usa MS-DOS

Answer 22

1

Agregue -i a sed para actualizar los archivos con los cambios.

Johan

Answer 23

17

En Unix / Linux:

sed 's/\xEF\xBB\xBF//' < inputfile > outputfile

En MacOSX

sed $'s/\xEF\xBB\xBF//' < inputfile > outputfile

Observe el $ después de sed para mac.

En Windows

Hay Super Sed, una versión mejorada de sed. Para Windows, este es un .exe independiente, diseñado para ejecutarse desde la línea de comandos.

Masum
fuente

1

"Observe el $ después de sed para mac". - ¡Gracias Señor!

Alguien todavía te usa MS-DOS

1

La cadena Bash "estilo C" $'\xEF\xBB\xBF//'es una característica de Bash, no particularmente una característica de Mac o OSX. Con esta construcción, Bash analizará las secuencias de escape en bytes reales antes de pasar la línea de comando a sed. Dependiendo de su sedvariante, esto puede funcionar o no (aunque estoy seguro de que es útil para los usuarios de OSX saber que debería funcionar para ellos).

tripleee

1

Quizás sed -i 's /.../.../'

Arthur

Answer 24

1

"Observe el $ después de sed para mac". - ¡Gracias Señor!

Alguien todavía te usa MS-DOS

Answer 25

1

La cadena Bash "estilo C" $'\xEF\xBB\xBF//'es una característica de Bash, no particularmente una característica de Mac o OSX. Con esta construcción, Bash analizará las secuencias de escape en bytes reales antes de pasar la línea de comando a sed. Dependiendo de su sedvariante, esto puede funcionar o no (aunque estoy seguro de que es útil para los usuarios de OSX saber que debería funcionar para ellos).

tripleee

Answer 26

1

Quizás sed -i 's /.../.../'

Arthur

Answer 27

6

Usar la cola podría ser más fácil:

tail --bytes=+4 filename > new_filename

Dzanvu
fuente

1

Esta técnica fallaría después de que el productor del archivo elimine la lista de materiales. No escalable ... :)

Piko

Answer 28

1

Esta técnica fallaría después de que el productor del archivo elimine la lista de materiales. No escalable ... :)

Piko

Answer 29

4

La solución de @ tripleee no funcionó para mí. Pero cambiar la codificación del archivo a ASCII y nuevamente a UTF-8 funcionó :-)

Pablo Torrecilla
fuente

Answer 30

3

He usado vimgrep para esto

:vim "[\uFEFF]" *

también comando normal de búsqueda de vim

/[\uFEFF]

Olexiy Zamkoviy
fuente

Answer 31

El comando 'archivo' muestra si la lista de materiales está presente:

Por ejemplo: 'file myfile.xml' muestra: "Documento XML 1.0, texto Unicode UTF-8 (con BOM), con líneas muy largas, con terminadores de línea CRLF"

dos2unix eliminará la lista de materiales.

Answer 32

1

En Windows, puede usar la utilidad de recodificación retroportada de UnxUtils .

Nikita Koksharov
fuente

Answer 33

En Sublime Text puedes instalar el paquete Highlighter y luego personalizar la expresión regular en su configuración de usuario.

Aquí agregué \uFEFFal final de la highlighter_regexpropiedad.

{
    "highlighter_enabled": true,
    "highlighter_regex": "(\t+ +)|( +\t+)|[\u2026\u2018\u2019\u201c\u201d\u2013\u2014\uFEFF]|[\t ]+$",
    "highlighter_scope_name": "invalid",
    "highlighter_max_file_size": 1048576,
    "highlighter_delay": 3000
}

Para sobrescribir la configuración predeterminada del paquete, coloque el archivo aquí:

~ / .config / sublime-text-3 / Packages / User / highlighter.sublime-settings

Answer 34

1

Sugiero el uso de la herramienta "dos2unix", pruébelo para ejecutarlo dos2unix ./thefile.js.

Si es necesario, intente usar algo como esto para varios archivos:

for x in $(find . -type f -exec echo {} +); do dos2unix $x ; done

Mis saludos.

Wellington 1993
fuente

1

Me gustó tu respuesta, bomstripno estaba disponible fácilmente en mi mac, así que me tomé el tiempo para darte la versión simple:find . -type f -exec dos2unix '{}' +

dsz

Answer 35

1

Me gustó tu respuesta, bomstripno estaba disponible fácilmente en mi mac, así que me tomé el tiempo para darte la versión simple:find . -type f -exec dos2unix '{}' +

dsz

Answer 36

0

Guarde el archivo sin firma de código.

Masood Moshref
fuente

<0xEF, 0xBB, 0xBF> carácter que aparece en los archivos. ¿Cómo eliminarlos?

Respuestas: