Decir que tengo un archivo de texto grande (> 2 GB) y sólo quiero que catlas líneas Xa Y(por ejemplo, 57.89 millón a 57,890,010). Por lo que entiendo, puedo hacer esto headentrando tailo viceversa, es decir head -A /path/to/file | tail -B o alternativamente tail -C /path/to/file | head...
Un enorme archivo de texto (hasta 2 GiB) contiene aproximadamente 100 duplicados exactos de cada línea (inútil en mi caso, ya que el archivo es una tabla de datos similar a CSV). Lo que necesito es eliminar todas las repeticiones mientras (preferiblemente, pero esto se puede sacrificar por un...
Tengo un archivo de texto enorme (70 GB), una línea y quiero reemplazar una cadena (token). Quiero reemplazar el token <unk>, con otro token ficticio ( problema de guantes ). Lo intenté sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new ¡pero el archivo de...
Tengo un archivo bastante grande (35 Gb), y me gustaría filtrar este archivo in situ (es decir, no tengo suficiente espacio en disco para otro archivo), específicamente quiero grep e ignorar algunos patrones, ¿hay alguna manera de hacer esto sin usar otro archivo? Digamos que quiero filtrar todas...
Tengo dos archivos grandes (6 GB cada uno). No están clasificados, con avances de línea ( \n) como separadores. ¿Cómo puedo diferenciarlos? Debería tomar menos de
Lo probé con SCP, pero dice "Tamaño de archivo negativo". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size También intenté usar SFTP, funcionó bien hasta que se transfirieron 2 GB del archivo, luego se detuvo: sftp> put matlab.iso Uploading matlab.iso to...
Tengo un archivo de texto de 25 GB que necesita reemplazar una cadena en solo unas pocas líneas. Puedo usarlo con sedéxito, pero lleva mucho tiempo ejecutarlo. sed -i 's|old text|new text|g' gigantic_file.sql ¿Hay una manera más rápida de hacer
Tengo un directorio con aproximadamente 100000 archivos pequeños (cada archivo es de 1-3 líneas, cada archivo es un archivo de texto). En tamaño, el directorio no es muy grande (<2GB). Estos datos viven en un servidor NFS administrado profesionalmente. El servidor ejecuta Linux. Creo que el...
Tengo una ext4partición de 900 GB en un disco duro (magnético) que no tiene defectos ni sectores defectuosos. La partición está completamente vacía, excepto por un lost+founddirectorio vacío . La partición se formateó utilizando los parámetros predeterminados, excepto que configuré el número de...
Tengo algunos archivos de tamaño> 1 GB cada uno. Necesito eliminar los últimos bytes de los archivos. ¿Cómo puedo hacerlo? Prefiero editar el archivo en su lugar para ahorrar espacio en disco. Estoy en
¿Es útil usar el indicador -T largefile para crear un sistema de archivos para una partición con archivos grandes como video y audio en formato flac? Probé la misma partición con esa bandera y sin ella, y usando tune2fs -l [partición] , verifiqué en "Características del sistema de archivos" que...
En el mismo espíritu que esta otra pregunta: línea de gato X a línea Y en un archivo enorme : ¿Hay alguna manera de abrir desde Emacs (y mostrar en un búfer) un conjunto dado de líneas (por ejemplo, todas las líneas entre la línea Xy Y) desde un archivo de texto enorme? Por ejemplo, abrir y...
Tengo un archivo de texto de 250 MB, todo en una línea. En este archivo quiero reemplazar acaracteres con bcaracteres: sed -e "s/a/b/g" < one-line-250-mb.txt Falla con: sed: couldn't re-allocate memory Me parece que este tipo de tarea podría realizarse en línea sin asignar mucha memoria....
Necesito ver una imagen PNG grande (50000x40000 px) en Linux. Desafortunadamente, la mayoría de las herramientas (eog, convert, etc.) se bloquean o fallan con una nota sobre muy poca memoria. ¿Hay alguna manera de ver esta imagen (preferiría ver tanto la imagen redimensionada como los...
Tengo ~ 30k archivos. Cada archivo contiene ~ 100k líneas. Una línea no contiene espacios. Las líneas dentro de un archivo individual se ordenan y no se duplican. Mi objetivo: quiero encontrar todas las líneas duplicadas en dos o más archivos y también los nombres de los archivos que contienen...
Tengo alrededor de 2 millones (60GiB) de archivos pequeños comprimidos y me gustaría crear un archivo comprimido que contenga todos ellos en una versión sin comprimir. Desafortunadamente, no puedo descomprimirlos todos y luego crear el archivo comprimido ya que solo tengo alrededor de 70GiB de...