linux - tag - picard app

cómo subcontratar un archivo-seleccione un número de filas o columnas

Question

Me gustaría recibir su consejo / ayuda sobre cómo subcontratar un archivo grande (millones de filas o líneas).

Por ejemplo,

(1) Tengo un archivo grande (millones de filas, delimitado por tabulaciones). Quiero un subconjunto de este archivo con solo filas de 10000 a 100000.

(2) Tengo un archivo grande (millones de columnas, delimitado por tabulaciones). Quiero un subconjunto de este archivo con solo columnas de 10000 a 100000.

Sé que hay herramientas como cabeza, cola, corte, división y awk o sed. Puedo usarlos para hacer subconjuntos simples. Pero, no sé cómo hacer este trabajo.

¿Podría por favor dar algún consejo? Gracias por adelantado.

Answer 1

Algunas soluciones diferentes:

Para rangos de filas: En sed :

sed -n 10000,100000p somefile.txt

Para rangos de columnas en awk :

awk -v f=10000 -v t=100000 ''{ for (i=f; i<=t;i++) printf("%s%s", $i,(i==t) ? "/n" : OFS) }'' details.txt

Answer 2

Filtrar filas es fácil, por ejemplo con AWK:

cat largefile | awk ''NR >= 10000  && NR <= 100000 { print }''

Filtrar columnas es más fácil con CUT:

cat largefile | cut -d ''/t'' -f 10000-100000

Como mencionó Rahul Dravid, el cat no es una obligación aquí, y como agregó Zsolt Botykai, puede mejorar el rendimiento usando:

awk ''NR > 100000 { exit } NR >= 10000 && NR <= 100000'' largefile
cut -d ''/t'' -f 10000-100000 largefile 

Answer 3

Le dieron una paliza por la solución sed, por lo que publicaré un perl Dito en su lugar. Para imprimir lineas seleccionadas.

$ seq 100 | perl -ne ''print if $. >= 10 && $. <= 20'' 
10
11
12
13
14
15
16
17
18
19
20

Para imprimir columnas selectivas, utilice

perl -lane ''print $F[1] .. $F[3] ''

-F se utiliza junto con -a , para elegir el delimitador para dividir las líneas.

Para probar, usa seq y paste para obtener generar algunas columnas

$ seq 50 | paste - - - - -
1   2   3   4   5
6   7   8   9   10
11  12  13  14  15
16  17  18  19  20
21  22  23  24  25
26  27  28  29  30
31  32  33  34  35
36  37  38  39  40
41  42  43  44  45
46  47  48  49  50

Imprimimos todo excepto la primera y la última columna

$ seq 50 | paste - - - - - | perl -lane ''print join "   ", $F[1] .. $F[3]''
2   3   4
7   8   9
12  13  14
17  18  19
22  23  24
27  28  29
32  33  34
37  38  39
42  43  44
47  48  49

En la instrucción de join anterior, hay una pestaña, se obtiene haciendo una pestaña ctrl-v.

Answer 4

Para el primer problema, seleccionar un conjunto de filas de un archivo grande, es muy sencillo de unir a la cola. Desea 90000 filas del archivo grande a partir de la fila 10000. la cola agarra el extremo posterior del archivo grande a partir de la fila 10000 y luego la cabeza corta todas las filas excepto las primeras 90000.

tail -n +10000 largefile | head -n 90000 -