python - español - Error "No queda espacio en el dispositivo" al instalar el modelo Sklearn

scikit learn español

Question

Estoy ajustando un modelo LDA con una gran cantidad de datos usando scikit-learn. La pieza de código relevante se ve así:

lda = LatentDirichletAllocation(n_topics = n_topics, 
                                max_iter = iters,
                                learning_method = ''online'',
                                learning_offset = offset,
                                random_state = 0,
                                evaluate_every = 5,
                                n_jobs = 3,
                                verbose = 0)
lda.fit(X)

(Supongo que el único detalle posiblemente relevante aquí es que estoy usando varios trabajos).

Después de un tiempo, aparece el error "No queda espacio en el dispositivo", aunque hay mucho espacio en el disco y mucha memoria libre. Intenté el mismo código varias veces, en dos computadoras diferentes (en mi máquina local y en un servidor remoto), primero usando python3, luego usando python2, y cada vez terminé con el mismo error.

Si ejecuto el mismo código en una muestra más pequeña de datos, todo funciona bien.

Todo el rastro de la pila:

Failed to save <type ''numpy.ndarray''> to .npy file:
Traceback (most recent call last):
  File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/numpy_pickle.py", line 271, in save
    obj, filename = self._write_array(obj, filename)
  File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/numpy_pickle.py", line 231, in _write_array
    self.np.save(filename, array)
  File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/numpy/lib/npyio.py", line 491, in save
    pickle_kwargs=pickle_kwargs)
  File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/numpy/lib/format.py", line 584, in write_array
    array.tofile(fp)
IOError: 275500 requested and 210934 written


IOErrorTraceback (most recent call last)
<ipython-input-7-6af7e7c9845f> in <module>()
      7                                 n_jobs = 3,
      8                                 verbose = 0)
----> 9 lda.fit(X)

/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/decomposition/online_lda.pyc in fit(self, X, y)
    509                     for idx_slice in gen_batches(n_samples, batch_size):
    510                         self._em_step(X[idx_slice, :], total_samples=n_samples,
--> 511                                       batch_update=False, parallel=parallel)
    512                 else:
    513                     # batch update

/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/decomposition/online_lda.pyc in _em_step(self, X, total_samples, batch_update, parallel)
    403         # E-step
    404         _, suff_stats = self._e_step(X, cal_sstats=True, random_init=True,
--> 405                                      parallel=parallel)
    406 
    407         # M-step

/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/decomposition/online_lda.pyc in _e_step(self, X, cal_sstats, random_init, parallel)
    356                                               self.mean_change_tol, cal_sstats,
    357                                               random_state)
--> 358             for idx_slice in gen_even_slices(X.shape[0], n_jobs))
    359 
    360         # merge result

/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/parallel.pyc in __call__(self, iterable)
    808                 # consumption.
    809                 self._iterating = False
--> 810             self.retrieve()
    811             # Make sure that we get a last message telling us we are done
    812             elapsed_time = time.time() - self._start_time

/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/parallel.pyc in retrieve(self)
    725                 job = self._jobs.pop(0)
    726             try:
--> 727                 self._output.extend(job.get())
    728             except tuple(self.exceptions) as exception:
    729                 # Stop dispatching any new job in the async callback thread

/home/ubuntu/anaconda2/lib/python2.7/multiprocessing/pool.pyc in get(self, timeout)
    565             return self._value
    566         else:
--> 567             raise self._value
    568 
    569     def _set(self, i, obj):

IOError: [Errno 28] No space left on device

Answer 1

Este problema se produce cuando se consume memoria compartida y no se permite ninguna operación de E / S. Este es un problema frustrante que se presenta a la mayoría de los usuarios de Kaggle al ajustar los modelos de aprendizaje automático.

Superé este problema configurando la variable JOBLIB_TEMP_FOLDER usando el siguiente código.

%env JOBLIB_TEMP_FOLDER=/tmp

Answer 2

Esto es porque has establecido n_jobs = 3. Puede configurarlo en 1, luego no se utilizará la memoria compartida, aunque el aprendizaje llevará más tiempo. Puede elegir seleccionar un directorio de caché de joblib según la respuesta anterior, pero tenga en cuenta que este caché también puede llenar su disco rápidamente, dependiendo del conjunto de datos. y las transacciones de disco pueden ralentizar su trabajo.

Answer 3

Tenía el mismo problema con LatentDirichletAllocation . Parece que se está quedando sin memoria compartida ( /dev/shm cuando ejecuta df -h ). Intente configurar la variable de entorno JOBLIB_TEMP_FOLDER en algo diferente: por ejemplo, a /tmp . En mi caso ha resuelto el problema.

O simplemente aumente el tamaño de la memoria compartida, si tiene los derechos adecuados para la máquina en la que está entrenando el LDA.