Seleccione valores únicos o distintos de una lista en el script de shell de UNIX

Tengo un script ksh que devuelve una larga lista de valores, separados por una nueva línea, y quiero ver solo los valores únicos / distintos. ¿Es posible hacer esto?

Por ejemplo, supongamos que mi salida son sufijos de archivo en un directorio:

tar
gz
java
gz
java
tar
class
class

Quiero ver una lista como:

tar
gz
java
class

Es posible que desee ver las aplicaciones uniqy sort.

./yourscript.ksh | ordenar | uniq

(Para su información, sí, el orden es necesario en esta línea de comando, uniqsolo elimina las líneas duplicadas que están inmediatamente una detrás de la otra)

EDITAR:

Contrariamente a lo publicado por Aaron Digulla en relación con uniqlas opciones de la línea de comandos:

Dada la siguiente entrada:

clase
tarro
tarro
tarro
compartimiento
compartimiento
Java

uniq generará todas las líneas exactamente una vez:

clase
tarro
compartimiento
Java

uniq -d mostrará todas las líneas que aparecen más de una vez y las imprimirá una vez:

tarro
compartimiento

uniq -u generará todas las líneas que aparecen exactamente una vez, y las imprimirá una vez:

clase
Java

./script.sh | sort -u

Esto es lo mismo que la respuesta de monóxido , pero un poco más conciso.

Para conjuntos de datos más grandes donde la ordenación puede no ser deseable, también puede usar el siguiente script perl:

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'

Básicamente, esto solo recuerda cada salida de línea para que no vuelva a salir.

Tiene la ventaja sobre la " sort | uniq" solución en que no se requiere clasificación por adelantado.

Con zsh puedes hacer esto:

% cat infile 
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
class

O puedes usar AWK:

% awk '!_[$0]++' infile    
tar
more than one word
gz
java
class

Conducirlos a través de sorty uniq. Esto elimina todos los duplicados.

uniq -dda solo los duplicados, uniq -uda solo los únicos (tiras duplicadas).

Con AWK puedes hacerlo, lo encuentro más rápido que ordenar

 ./yourscript.ksh | awk '!a[$0]++'

Único, según lo solicitado, (pero no ordenado);
utiliza menos recursos del sistema para menos de ~ 70 elementos (según lo probado con el tiempo);
escrito para recibir información de stdin,
(o modificar e incluir en otro script):
(Bash)

bag2set () {
    # Reduce a_bag to a_set.
    local -i i j n=${#a_bag[@]}
    for ((i=0; i < n; i++)); do
        if [[ -n ${a_bag[i]} ]]; then
            a_set[i]=${a_bag[i]}
            a_bag[i]=$'\0'
            for ((j=i+1; j < n; j++)); do
                [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
            done
        fi
    done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
    a_bag[i]=$e
    i=$i+1
done
bag2set
echo "${a_set[@]}"

Recibo mejores consejos para obtener entradas no duplicadas en un archivo

awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u