¿Cómo obtener solo los resultados únicos sin tener que ordenar los datos?

$ cat data.txt 
aaaaaa
aaaaaa
cccccc
aaaaaa
aaaaaa
bbbbbb
$ cat data.txt | uniq
aaaaaa
cccccc
aaaaaa
bbbbbb
$ cat data.txt | sort | uniq
aaaaaa
bbbbbb
cccccc
$

El resultado que necesito es mostrar todas las líneas del archivo original eliminando todos los duplicados (no solo los consecutivos), manteniendo el orden original de las declaraciones en el archivo .

Aquí, en este ejemplo, el resultado que realmente estaba buscando era

aaaaaa
cccccc
bbbbbb

¿Cómo puedo realizar esta uniqoperación generalizada en general?

perl -ne 'print unless $seen{$_}++' data.txt

O, si debe tener un uso inútil decat :

cat data.txt | perl -ne 'print unless $seen{$_}++'

Aquí hay una awktraducción, para sistemas que carecen de Perl:

awk '!seen[$0]++' data.txt
cat data.txt | awk '!seen[$0]++'

John tiene una herramienta llamada unique:

usr@srv % cat data.txt | unique out
usr@srv % cat out
aaaaaa
cccccc
bbbbbb

Lograr lo mismo sin herramientas adicionales en una sola línea de comandos es un poco más complejo:

usr@srv % cat data.txt | nl | sort -k 2 | uniq -f 1 | sort -n | sed 's/\s*[0-9]\+\s\+//'
aaaaaa
cccccc
bbbbbb

nlimprime números de línea delante de las líneas, por lo que si nosotros sort/ uniqdetrás de ellas, podemos restaurar el orden original de las líneas. sedsimplemente elimina los números de línea después;)

Prefiero usar esto:

cat -n data.txt | sort --key=2.1 -b -u | sort -n | cut -c8-

cat -n agrega números de línea,

sort --key=2.1 -b -u se ordena en el segundo campo (después de los números de línea agregados), ignorando los espacios en blanco iniciales, manteniendo líneas únicas

sort -n se ordena en estricto orden numérico

cut -c8- mantenga todos los caracteres de la columna 8 a EOL (es decir, omita los números de línea que incluimos)

Perl tiene un módulo que puede usar que incluye una función llamada uniq. Entonces, si tiene sus datos cargados en una matriz en Perl, simplemente llame a la función de esta manera para que sea única, pero aún así mantenga el orden original.

use List::MoreUtils qw(uniq)    
@output = uniq(@output);

Puede leer más sobre este módulo aquí: Lista :: MoreUtils