Scrapy - Medio ambiente

En este capítulo, discutiremos cómo instalar y configurar Scrapy. Scrapy debe instalarse con Python.

Scrapy se puede instalar usando pip. Para instalar, ejecute el siguiente comando:

pip install Scrapy

Ventanas

Note - Python 3 no es compatible con el sistema operativo Windows.

Step 1- Instale Python 2.7 desde Python

Establezca las variables ambientales agregando las siguientes rutas a la RUTA:

C:\Python27\;C:\Python27\Scripts\;

Puede verificar la versión de Python usando el siguiente comando:

python --version

Step 2- Instale OpenSSL .

Agregue C: \ OpenSSL-Win32 \ bin en sus variables ambientales.

Note - OpenSSL viene preinstalado en todos los sistemas operativos excepto Windows.

Step 3- Instale los redistribuibles de Visual C ++ 2008 .

Step 4- Instale pywin32 .

Step 5- Instale pip para versiones de Python anteriores a la 2.7.9.

Puede verificar la versión de pip usando el siguiente comando:

pip --version

Step 6 - Para instalar scrapy, ejecute el siguiente comando -

pip install Scrapy

Anaconda

Si tiene anaconda o miniconda instaladas en su máquina, ejecute el siguiente comando para instalar Scrapy usando conda -

conda install -c scrapinghub scrapy

La empresa Scrapinghub admite paquetes oficiales de conda para Linux, Windows y OS X.

Note - Se recomienda instalar Scrapy usando el comando anterior si tiene problemas para instalar a través de pip.

Ubuntu 9.10 o superior

La última versión de Python está preinstalada en el sistema operativo Ubuntu. Utilice los paquetes de Ubuntu aptgettable proporcionados por Scrapinghub. Para usar los paquetes -

Step 1 - Necesita importar la clave GPG utilizada para firmar los paquetes Scrapy en el llavero APT -

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

Step 2 - A continuación, use el siguiente comando para crear el archivo /etc/apt/sources.list.d/scrapy.list -

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

Step 3 - Actualice la lista de paquetes e instale scrapy -

sudo apt-get update && sudo apt-get install scrapy

Archlinux

Puede instalar Scrapy desde el paquete AUR Scrapy usando el siguiente comando:

yaourt -S scrapy

Mac OS X

Utilice el siguiente comando para instalar las herramientas de línea de comandos de Xcode:

xcode-select --install

En lugar de utilizar el sistema Python, instale una nueva versión actualizada que no entre en conflicto con el resto de su sistema.

Step 1- Instalar homebrew .

Step 2 - Establezca la variable ambiental PATH para especificar que los paquetes homebrew deben usarse antes que los paquetes del sistema -

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

Step 3 - Para asegurarse de que se realizan los cambios, vuelva a cargar .bashrc usando el siguiente comando -

source ~/.bashrc

Step 4 - A continuación, instale Python usando el siguiente comando -

brew install python

Step 5 - Instale Scrapy usando el siguiente comando -

pip install Scrapy