setlevel - python logging best practices

Cómo redireccionar stdout y stderr a logger en Python

Question

Tengo un registrador que tiene un RotatingFileHandler . Quiero redireccionar todos los Stdout y Stderr al registrador. ¿Cómo hacerlo?

Answer 1

Como evolución a la respuesta de Cameron Gagnon, he mejorado la clase LoggerWriter para:

class LoggerWriter(object):
    def __init__(self, writer):
        self._writer = writer
        self._msg = ''''

    def write(self, message):
        self._msg = self._msg + message
        while ''/n'' in self._msg:
            pos = self._msg.find(''/n'')
            self._writer(self._msg[:pos])
            self._msg = self._msg[pos+1:]

    def flush(self):
        if self._msg != '''':
            self._writer(self._msg)
            self._msg = ''''

Ahora las excepciones no controladas se ven mejor:

2018-07-31 13:20:37,482 - ERROR - Traceback (most recent call last):
2018-07-31 13:20:37,483 - ERROR -   File "mf32.py", line 317, in <module>
2018-07-31 13:20:37,485 - ERROR -     main()
2018-07-31 13:20:37,486 - ERROR -   File "mf32.py", line 289, in main
2018-07-31 13:20:37,488 - ERROR -     int('''')
2018-07-31 13:20:37,489 - ERROR - ValueError: invalid literal for int() with base 10: ''''

Answer 2

Con color añadido a la respuesta de Vinay Sajip:

class LoggerWriter:
    def __init__(self, logger, level): 
        self.logger = logger
        self.level = level 

    def write(self, message):
        if message != ''/n'':
            self.logger.log(self.level, message)

    def flush(self): 
        pass

Answer 3

No tengo suficiente representante para comentar, pero quería agregar la versión de esto que funcionó para mí en caso de que otros se encuentren en una situación similar.

class LoggerWriter:
    def __init__(self, level):
        # self.level is really like using log.debug(message)
        # at least in my case
        self.level = level

    def write(self, message):
        # if statement reduces the amount of newlines that are
        # printed to the logger
        if message != ''/n'':
            self.level(message)

    def flush(self):
        # create a flush method so things can be flushed when
        # the system wants to. Not sure if simply ''printing''
        # sys.stderr is the correct way to do it, but it seemed
        # to work properly for me.
        self.level(sys.stderr)

y esto se vería algo así como:

log = logging.getLogger(''foobar'')
sys.stdout = LoggerWriter(log.debug)
sys.stderr = LoggerWriter(log.warning)

Answer 4

Puedes usar el administrador de contexto redirect_stdout:

import logging
from contextlib import redirect_stdout

logging.basicConfig(stream=sys.stdout, level=logging.DEBUG)
logging.write = lambda msg: logging.info(msg) if msg != ''/n'' else None

with redirect_stdout(logging):
    print(''Test'')

o así

import logging
from contextlib import redirect_stdout


logger = logging.getLogger(''Meow'')
logger.setLevel(logging.INFO)
formatter = logging.Formatter(
    fmt=''[{name}] {asctime} {levelname}: {message}'',
    datefmt=''%m/%d/%Y %H:%M:%S'',
    style=''{''
)
ch = logging.StreamHandler()
ch.setLevel(logging.INFO)
ch.setFormatter(formatter)
logger.addHandler(ch)

logger.write = lambda msg: logger.info(msg) if msg != ''/n'' else None

with redirect_stdout(logger):
    print(''Test'')

Answer 5

Si se trata de un sistema todo en Python (es decir, no hay bibliotecas C que escriban directamente en fds, como preguntó Ignacio Vázquez-Abrams), entonces es posible que pueda utilizar un enfoque como se sugiere here :

class LoggerWriter:
    def __init__(self, logger, level):
        self.logger = logger
        self.level = level

    def write(self, message):
        if message != ''/n'':
            self.logger.log(self.level, message)

y luego configure sys.stdout y sys.stderr en instancias de LoggerWriter .

Answer 6

Todas las respuestas anteriores parecen tener problemas para agregar nuevas líneas adicionales donde no son necesarias. La solución que mejor me funciona es de http://www.electricmonk.nl/log/2011/08/14/redirect-stdout-and-stderr-to-a-logger-in-python/ , donde demuestra cómo envíe tanto stdout como stderr al registrador:

import logging
import sys

class StreamToLogger(object):
   """
   Fake file-like stream object that redirects writes to a logger instance.
   """
   def __init__(self, logger, log_level=logging.INFO):
      self.logger = logger
      self.log_level = log_level
      self.linebuf = ''''

   def write(self, buf):
      for line in buf.rstrip().splitlines():
         self.logger.log(self.log_level, line.rstrip())

logging.basicConfig(
   level=logging.DEBUG,
   format=''%(asctime)s:%(levelname)s:%(name)s:%(message)s'',
   filename="out.log",
   filemode=''a''
)

stdout_logger = logging.getLogger(''STDOUT'')
sl = StreamToLogger(stdout_logger, logging.INFO)
sys.stdout = sl

stderr_logger = logging.getLogger(''STDERR'')
sl = StreamToLogger(stderr_logger, logging.ERROR)
sys.stderr = sl

print "Test to standard out"
raise Exception(''Test to standard error'')

La salida se ve como:

2011-08-14 14:46:20,573:INFO:STDOUT:Test to standard out
2011-08-14 14:46:20,573:ERROR:STDERR:Traceback (most recent call last):
2011-08-14 14:46:20,574:ERROR:STDERR:  File "redirect.py", line 33, in 
2011-08-14 14:46:20,574:ERROR:STDERR:raise Exception(''Test to standard error'')
2011-08-14 14:46:20,574:ERROR:STDERR:Exception
2011-08-14 14:46:20,574:ERROR:STDERR::
2011-08-14 14:46:20,574:ERROR:STDERR:Test to standard error

Tenga en cuenta que self.linebuf = '''' es donde se maneja la descarga, en lugar de implementar una función de descarga.