machine learning - Búsqueda de hiperparámetros multidimensional con vw-hypersearch en Vowpal Wabbit

machine-learning vowpalwabbit

Question

vw-hypersearch es el contenedor Vowpal Wabbit diseñado para optimizar los hiperparámetros en los modelos vw: tasas de regularización, tasas de aprendizaje y decaimientos, minibatches, tamaños de arranque, etc. En el tutorial de vw-hypersearch, hay un ejemplo siguiente:

vw-hypersearch  1e-10  5e-4  vw  --l1 %  train.dat

Aquí % significa el parámetro que se optimizará, 1e-10 5e-4 son los límites inferior y superior para el intervalo sobre el que buscar. La biblioteca utiliza un método de búsqueda de sección dorada para minimizar el número de iteraciones.

Pero, ¿y si quiero buscar en múltiples hiperparámetros? De las fuentes como esta discusión del tema Github, me da una pista de que posiblemente no se realizan métodos de búsqueda multidimensionales en vw. Por lo tanto, la única salida es escribir los propios optimizadores específicos de la tarea. ¿Estoy en lo cierto?

Answer 1

Ahora esto se puede hacer con el módulo vw-hyperopt.py que vive en /vowpal_wabbit/utl/ en el repositorio.

Ver mi solicitud de extracción aquí: https://github.com/JohnLangford/vowpal_wabbit/pull/867

En el futuro cercano, esto estará mejor documentado.