Tengo varios archivos CSV grandes y me gustaría tenerlos en TSV (formato separado por tabulaciones). La complicación es que hay comas en los campos del archivo CSV, por ejemplo:

 A,,C,"D,E,F","G",I,"K,L,M",Z

Rendimiento esperado:

 A      C   D,E,F   G   I   K,L,M   Z

(donde los espacios en blanco en el medio son pestañas "duras")

Tengo Perl, Python y coreutils instalados en este servidor.

Pitón

Agregar al archivo nombrado csv2tab.shy hacerlo ejecutable

#!/usr/bin/env python
import csv, sys
csv.writer(sys.stdout, dialect='excel-tab').writerows(csv.reader(sys.stdin))

Pruebas de funcionamiento

$ echo 'A,,C,"D,E,F","G",I,"K,L,M",Z' | ./csv2tab.sh                         
A       C   D,E,F   G   I   K,L,M   Z

$ ./csv2tab.sh < data.csv > data.tsv && head data.tsv                                                   
1A      C   D,E,F   G   I   K,L,M   Z
2A      C   D,E,F   G   I   K,L,M   Z
3A      C   D,E,F   G   I   K,L,M   Z

Para la diversión, sed.

sed -E 's/("([^"]*)")?,/\2\t/g' file

Si su sedno es compatible -E, intente con -r. Si sedno admite \tuna pestaña literal, intente colocar una pestaña literal (en muchos shells, ctrl- v tab) o en Bash, use una $'...'cadena de estilo C (en cuyo caso la barra invertida \2debe duplicarse). Si desea mantener las comillas, use en \1lugar de \2(en cuyo caso el par de paréntesis interno es inútil y puede eliminarse).

Esto no intenta manejar comillas dobles escapadas dentro de comillas dobles; algunos dialectos CSV respaldan esto al duplicar la cita doble (sic) citada.

Usando la csvkitutilidad (Python), por ejemplo:

$ csvformat -T in.csv > out.txt

Hace streaming, con citas y escapes CSV y TSV correctos

Está en apt y otros gestores de paquetes

Una opción podría ser el módulo Text :: CSV de perl, p. Ej.

perl -MText::CSV -lne 'BEGIN { $csv = Text::CSV->new() }
  print join "\t", $csv->fields() if $csv->parse($_)
' somefile

demostrar

echo 'A,,C,"D,E,F","G",I,"K,L,M",Z' |
  perl -MText::CSV -lne 'BEGIN { $csv = Text::CSV->new() }
  print join "\t", $csv->fields() if $csv->parse($_)
'
A       C   D,E,F   G   I   K,L,M   Z

Perl

perl -lne '
   my $re = qr/,(?=(?:[^"]*"[^"]*")*(?![^"]*"))/;
   print join "\t", map { s/(?<!\\)"//gr =~ s/\\"/"/gr } split $re;
'

Awk

awk -v Q=\" -v FPAT="([^,]*)|(\"[^\"]+\")" -v OFS="\t" '{
   for (i=1; i<=NF; ++i)
      if ( substr($i, 1, 1) == Q )
         $i = substr($i, 2, length($i) - 2)
   print $1, $2, $3, $4, $5, $6, $7, $8
}'

Resultado:

A               C       D,E,F   G       I       K,L,M   Z

La solución termonuclear flyswatter debe estar usando libreoffice. Mientras que https://ask.libreoffice.org/en/question/19042/is-is-possible-to-convert-comma-separated-value-csv-to-tab-separated-value-tsv-via-headless-mode / sugiere que esto no es posible pero está mal (¿o simplemente está desactualizado?) y el siguiente comando funciona en mi 5.3 .:

loffice "-env:UserInstallation=file:///tmp/LibO_Conversion" --convert-to csv:"Text - txt - csv (StarCalc)":9,34,UTF8 --headless --outdir some/path --infilter='csv:44,34,UTF8' *.csv

se envpodría omitir el argumento, pero de esta forma los documentos no aparecerán en su documento reciente.

Si tiene, o puede instalar, la csvtoolutilidad:

csvtool -t COMMA -u TAB cat in.csv > out.ctv

Tenga en cuenta que por alguna razón csvtoolno tiene una página de manual, pero csvtool --helpimprimirá un par de cientos de líneas de documentación.

Usar mlres casi sucinto, pero deshabilitar los encabezados requiere opciones largas:

mlr --c2t --implicit-csv-header --headerless-csv-output cat file.csv 

Salida:

A       C   D,E,F   G   I   K,L,M   Z

Soy autor de un convertidor CSV a TSV de código abierto que maneja las transformaciones descritas. Es bastante rápido, puede valer la pena echarle un vistazo si hay una necesidad continua de convertir grandes archivos CSV. La herramienta es parte del kit de herramientas de utilidades TSV de eBay (documentación de csv2tsv aquí ). Las opciones predeterminadas son suficientes para la entrada descrita:

$ csv2tsv file.csv > file.tsv

Empuje

Solo por diversión, las sustituciones de expresiones regulares se pueden realizar en Vim . Aquí hay una posible solución de cuatro líneas, adaptada de: /programming/33332871/remove-all-commas-between-quotes-with-a-vim-regex

1. Las comas entre comillas se cambian primero a guiones bajos (u otro carácter ausente),
2. Todas las demás comas se reemplazan con pestañas,
3. Los guiones bajos entre comillas se restauran a comas

4. Las comillas se eliminan.
   
   

   :%s/".\{-}"/\=substitute(submatch(0), ',', '_' , 'g')/g
   :%s/,/\t/g
   :%s/_/,/g
   :%s/"//g

Para escribir un poco la solución, las cuatro líneas anteriores (sin dos puntos principales) se pueden guardar en un archivo, por ejemplo to_tsv.vim. Abra cada CSV para editar con Vim y sourceel to_tsv.vimscript en la línea de comando de Vim (adaptado de /programming/3374179/run-vim-script-from-vim-commandline/8806874#8806874 ):

    :source /path/to/vim/filename/to_tsv.vim

Aquí está el ejemplo de convertir CSV en TSV usando la jqutilidad :

$ jq -rn '@tsv "\(["A","","C","D,E,F","G","I","K,L,M","Z"])"'
A       C   D,E,F   G   I   K,L,M   Z

o:

$ echo '["A","","C","D,E,F","G","I","K,L,M","Z"]' | jq -r @tsv
A       C   D,E,F   G   I   K,L,M   Z

Sin embargo, el formato CSV debe estar bien formateado, por lo que cada cadena debe ser citada.

^{Fuente: formato de salida TSV simple .}

Con perl, suponiendo que los campos csv no tengan incrustadas "o nuevas líneas o pestañas:

perl -pe 's{"(.*?)"|,}{$1//"\t"}ge'

Lo siguiente es simplemente una corrección a la respuesta de @tripleee para que elimine las comillas del campo final tal como lo hace con todos los demás campos.

Para mostrar lo que se está corrigiendo, a continuación se muestra la respuesta de un triplicado , más una ligera modificación a los datos de ejemplo del OP con citas agregadas alrededor del campo ' Z ' final .

echo 'A,,C,"D,E,F","G",I,"K,L,M","Z"' |  sed -r -e 's/("([^"]*)")?,/\2\t/g'
A       C   D,E,F   G   I   K,L,M   "Z"

Puede ver que ' Z ' se deja entre comillas. Esto es diferente a cómo se manejan los campos internos. Por ejemplo, la ' G ' no tiene comillas.

El siguiente comando usa una segunda sustitución para limpiar la columna final:

echo 'A,,C,"D,E,F","G",I,"K,L,M","Z"' |  sed -r -e 's/("([^"]*)")?,/\2\t/g' \
                                                -e 's/\t"([^"]*)"$/\t\1/'
A       C   D,E,F   G   I   K,L,M   Z