linux - veces - ¿Cómo contar el número de valores únicos de un campo en un archivo de texto delimitado por tabulaciones?

contar.si.conjunto valores unicos

Question

Tengo un archivo de texto con una gran cantidad de datos delimitados por tabuladores. Quiero echar un vistazo a los datos para poder ver los valores únicos en una columna. Por ejemplo,

Red Ball 1 Sold
Blue Bat 5 OnSale
...............

Por lo tanto, es como que la primera columna tiene colores, por lo que quiero saber cuántos valores únicos diferentes hay en esa columna y quiero poder hacer eso para cada columna.

Necesito hacer esto en una línea de comandos de Linux, así que probablemente use algunos script bash, sed, awk o algo así.

Adición: Gracias a todos por la ayuda, ¿puedo preguntar una cosa más? ¿Y si también quisiera contar estos valores únicos?

Supongo que no puse la segunda parte lo suficientemente clara. Lo que quería hacer es tener un recuento de "cada uno" de estos valores únicos, sin saber cuántos valores únicos hay. Por ejemplo, en la primera columna quiero saber cuántos objetos de colores rojos, azules, verdes, etc. hay allí.

Answer 1

Aquí hay un script bash que responde completamente la pregunta original (revisada). Es decir, dado cualquier archivo .tsv, proporciona la sinopsis para cada una de las columnas sucesivamente. Además de bash, solo utiliza herramientas estándar * ix / Mac: sed tr wc cut sort uniq.

#!/bin/bash
# Syntax: $0 filename
# The input is assumed to be a .tsv file
FILE="$1"
cols=$(sed -n 1p $FILE | tr -cd ''/t'' | wc -c)
cols=$((cols + 2 ))
i=0
for ((i=1; i < $cols; i++))
do
echo Column $i ::
cut -f $i < "$FILE" | sort | uniq -c
echo
done

Answer 2

Este script genera el número de valores únicos en cada columna de un archivo determinado. Asume que la primera línea del archivo dado es la línea del encabezado. No hay necesidad de definir el número de campos. Simplemente guarde el script en un archivo bash (.sh) y proporcione el archivo delimitado por tabulaciones como un parámetro para este script.

Código

#!/bin/bash
awk ''
(NR==1){
for(fi=1; fi<=NF; fi++)
fname[fi]=$fi;
}
(NR!=1){
for(fi=1; fi<=NF; fi++)
arr[fname[fi]][$fi]++;
}
END{
for(fi=1; fi<=NF; fi++){
out=fname[fi];
for (item in arr[fname[fi]])
out=out"/t"item"_"arr[fname[fi]][item];
print(out);
}
}
'' $1

Ejemplo de ejecución:

bash> ./script.sh <path to tab-delimited file>

Ejemplo de salida

isRef A_15 C_42 G_24 T_18
isCar YEA_10 NO_40 NA_50
isTv FALSE_33 TRUE_66

Answer 3

Puede usar awk, sort & uniq para hacer esto, por ejemplo, para listar todos los valores únicos en la primera columna

awk < test.txt ''{print $1}'' | sort | uniq

Como se publicó en otra parte, si desea contar el número de instancias de algo, puede canalizar la lista única en wc -l

Answer 4

Puede utilizar los comandos de cut , sort y uniq siguiente manera:

cat input_file | cut -f 1 | sort | uniq

obtiene valores únicos en el campo 1, reemplazando 1 por 2 le dará valores únicos en el campo 2.

Evitando UUOC :)

cut -f 1 input_file | sort | uniq

EDITAR:

Para contar el número de ocurrencias únicas, puede hacer uso del comando wc en la cadena como:

cut -f 1 input_file | sort | uniq | wc -l

Answer 5

Suponiendo que el archivo de datos en realidad está separado por tabuladores, no alineado por espacios:

<test.tsv awk ''{print $4}'' | sort | uniq

Donde $ 4 será:

• $ 1 - Rojo
• $ 2 - Bola
• $ 3 - 1
• $ 4 - Vendido

Answer 6

# COLUMN is integer column number
# INPUT_FILE is input file name
cut -f ${COLUMN} < ${INPUT_FILE} | sort -u | wc -l

Answer 7

cat test.csv | awk ''{ a[$1]++ } END { for (n in a) print n, a[n] } ''