python - guia - Copiando líneas seleccionadas de archivos en diferentes directorios a otro archivo

qgis manual

Question

Tengo un directorio con muchos subdirectorios, que contienen archivos. Quiero abrir los archivos que terminan con "root.vrpj" o "root.vprj", en la carpeta "App_integrations" y copiar las líneas que contienen la palabra "table" a otro archivo.

Hasta ahora he logrado visitar cada archivo con este código:

for root, dirs, files in os.walk(movedir):
for filename in files:
if filename.endswith(("root.vrpj", "root.vprj")):

El problema es que lo que tengo ahora son solo los nombres de los archivos que quiero visitar y estoy atrapado aquí.

Answer 1

Esta es una versión del código de Ajax que cierra los archivos que abre en el ciclo (y corrige algunos otros problemas menores):

with open(''final_file.txt'', ''w'') as f:
for root, dirs, files in os.walk(movedir):
for filename in files:
if filename.endswith(("root.vrpj"), ("root.vprj")):
with open(os.path.join(root, filename)) as finput:
for line in finput:
if ''table'' in line:
f.write(line)

sin embargo, cuando ve 8 niveles de sangría, necesita refactorizar, por ejemplo:

def find_files(startdir, *extensions):
for root, dirs, files in os.walk(movedir):
for filename in files:
if filename.endswith(extensions):
yield os.path.join(root, filename)
def find_lines(fname, text):
with open(fname) as fp:
return [line for line in fp if text in line]
with open(''final_file.txt'', ''w'') as f:
for fname in find_files(movedir, ''root.vrpj'', ''root.vprj''):
f.writelines(find_lines(fname, ''table''))

Answer 2

Puedes intentar esto:

f = open(''final_file.txt'', ''w'')
for root, dirs, files in os.walk(movedir):
for filename in files:
if filename.endswith("root.vrpj") or filename.endswith("root.vprj"):
with open(filename) as data:
for line in data:
if "table" in data:
f.write(''{}/n''.format(data))
f.close()

Answer 3

Encuentra los archivos

from pathlib import Path
import itertools
source_dir = Path(<source_dir>)
patterns = [''**/*root.vrpj'', ''**/*root.vprj'']
files = itertools.chain.from_iterables(source_dir.glob(pat) for pat in patterns)) 

Filtra los archivos:

def filter_lines(files):
for file in files:
if not ''App_Integration'' in file.parts:
continue
with file.open(''r'') as file_handle:
for line in file_handle:
if ''table'' in line:
yield line

Escribe la salida

def save_lines(lines, output_file=sys.std_out):
for line in lines:
output_file.write(line)
with Path(<output_file>).open(''w'') as output_file:
save_lines(filter_lines(files), as output_file)

Answer 4

Finalmente lo resolví

 import os
rootdir = my root folder
# creates a file f that contains all the lines of the files
# with "root.vrpj" or "root.vprj" in their name
# and who are inside "App_integrations" folders
# without duplicates
#creating the big file with all the file containing the lines I need
f = open(''final_file.txt'', ''a'')
for root, dirs, files in os.walk(rootdir):
for filename in files:
if (filename.endswith(("root.vrpj", "root.vprj")) and ("App_Integration" in os.path.join(root, filename))):
full_name = os.path.join(root, filename)
data = open(full_name).read()
f.write(data + "/n")
f.close()
#copying the lines I need to f1 without duplicates
lines_seen = set()
f = open(''final_file.txt'')
f1 = open(''testread1.txt'', ''a'')
doIHaveToCopyTheLine=False
for line in f.readlines():
if (("Table" in line) and (line not in lines_seen)):
doIHaveToCopyTheLine=True
if doIHaveToCopyTheLine:
f1.write(line)
lines_seen.add(line)
f1.close()
f.close()