statsbot stacking machine learning ensemble d1dcd548e936 boosting blog machine-learning ensemble-learning

machine learning - stacking - ¿Qué es un alumno débil?



https blog statsbot co ensemble learning d1dcd548e936 (2)

mejor que adivinar al azar

Ese es básicamente el único requisito para un alumno débil. Siempre y cuando puedas vencer consistentemente las suposiciones al azar, cualquier algoritmo de realce realzará la precisión del conjunto final. El estudiante débil que debe elegir es una compensación entre 3 factores:

  1. El sesgo del modelo. Un sesgo más bajo es casi siempre mejor, pero no se debe elegir algo que se sobreajuste (sí, el aumento puede y no se ajusta)
  2. El tiempo de entrenamiento para el alumno débil. En general, queremos ser capaces de aprender un alumno débil rápidamente, ya que vamos a construir algunos cientos (o miles) de ellos.
  3. El tiempo de predicción para nuestro alumno débil. Si usamos un modelo que tiene una tasa de predicción lenta, nuestro conjunto de ellos será unos cientos de veces más lento.

El principiante débil clásico es un árbol de decisiones. Al cambiar la profundidad máxima del árbol, puede controlar los 3 factores. Esto los hace increíblemente populares para impulsar. Lo que debe usar depende de su problema individual, pero los árboles de decisión son un buen punto de partida.

NOTA: siempre que el algoritmo sea compatible con instancias de datos ponderados, cualquier algoritmo puede usarse para aumentar. Un orador invitado en mi Universidad estaba impulsando redes neuronales de 5 capas profundas por su trabajo en biología computacional.

Quiero comparar diferentes tasas de error de diferentes clasificadores con la tasa de error de un alumno débil (mejor que la adivinanza aleatoria). Entonces, mi pregunta es, ¿cuáles son algunas opciones para un alumno débil, fácil de procesar y simple? ¿O entiendo el concepto incorrectamente y soy un alumno débil simplemente cualquier punto de referencia que elijo (por ejemplo, una regresión lineal)?

Los estudiantes débiles son básicamente umbrales para cada característica. Un ejemplo simple es un árbol de decisión de 1 nivel llamado tocón de decisión aplicado en el embolsado o refuerzo. Simplemente elige un umbral para una característica y divide los datos en ese umbral (por ejemplo, para determinar si la flor del iris es Iris versicolor o Iris virginica en función del ancho del pétalo ). Luego se entrena en esta característica específica mediante embolsado o AdaBoost.