python - AssertionError: múltiples directorios.dist-info en Data Science Experience

pip data-science-experience

Question

En una computadora portátil Python 3.5, respaldada por un servicio Apache Spark, había instalado BigDL 0.2 usando pip . Al eliminar esa instalación e intentar instalar la versión 0.3 de BigDL, aparece este error: (se agregaron saltos de línea para facilitar la lectura)

AssertionError: Multiple .dist-info directories:
/gpfs/fs01/user/scbc-4dbab79416a6ec-4cf890276e2b/.local/lib/python3.5/site-packages/BigDL-0.3.0.dist-info,
/gpfs/fs01/user/scbc-4dbab79416a6ec-4cf890276e2b/.local/lib/python3.5/site-packages/BigDL-0.2.0.dist-info

Sin embargo, ninguno de estos directorios existe:

!ls -al /gpfs/fs01/user/scbc-4dbab79416a6ec-4cf890276e2b/.local/lib/python3.5/site-packages/
total 0
drwx------ 2 scbc-4dbab79416a6ec-4cf890276e2b users 4096 Nov  8 06:12 .
drwx------ 3 scbc-4dbab79416a6ec-4cf890276e2b users 4096 Nov  8 06:12 ..

¿Qué pasa? ¿Cómo puedo instalar la nueva versión del paquete después de eliminar el anterior?

Answer 1

Las rutas de directorio en el mensaje de error son incorrectas. El núcleo de Python 3.5 en DSX especifica un directorio de compilación para pip estableciendo la variable de entorno PIP_BUILD. Los múltiples directorios de dist-info están ahí:

!printenv PIP_BUILD ; ls -l $PIP_BUILD/*
/tmp/scbc-4dbab79416a6ec-4cf890276e2b/pip-build
total 0
drwx------ 8 scbc-4dbab79416a6ec-4cf890276e2b users 117 Nov  7 02:02 bigdl
drwx------ 2 scbc-4dbab79416a6ec-4cf890276e2b users 135 Nov  7 02:02 BigDL-0.2.0.dist-info
drwx------ 2 scbc-4dbab79416a6ec-4cf890276e2b users 135 Nov  8 06:12 BigDL-0.3.0.dist-info

Para solucionar el problema, elimine el directorio de compilación:

!rm -rf $PIP_BUILD

Después de eso, pip puede instalar el paquete sin problemas:

!pip install --no-dependencies bigdl==0.3
Collecting bigdl==0.3
  Using cached BigDL-0.3.0-py2.py3-none-manylinux1_x86_64.whl
Installing collected packages: bigdl
Successfully installed bigdl