django - elasticbeanstalk - para que sirve elastic beanstalk

¿Cómo se ejecuta un trabajador con AWS Elastic Beanstalk?

Question

Estoy lanzando una aplicación django en beanstalk elástico. Me gustaría ejecutar la tarea de fondo o el trabajador para ejecutar el apio.

No puedo encontrar si es posible o no. Si es así, cómo se podría lograr.

Esto es lo que estoy haciendo en este momento, pero esto está produciendo cada vez un error tipo evento.

container_commands:
01_syncdb:
command: "django-admin.py syncdb --noinput"
leader_only: true
50_sqs_email:
command: "./manage.py celery worker --loglevel=info"
leader_only: true

Gracias por la ayuda,

Answer 1

Como @ chris-wheadon sugirió en su comentario, debería intentar ejecutar el apio como un deamon en el fondo. AWS Elastic Beanstalk ya utiliza supervisord para ejecutar algunos procesos deamon. Entonces puede aprovechar eso para ejecutar apical y evitar crear un AMI personalizado para esto. Funciona bien para mí.

Lo que hago es agregar programáticamente un archivo de configuración apilado a la instancia después de que EB lo implemente. La parte difícil es que el archivo necesita establecer las variables de entorno requeridas para el deamon (como las teclas de acceso AWS si usa S3 u otros servicios en su aplicación).

A continuación hay una copia del script que uso, agregue este script a su carpeta .ebextensions que configura su entorno EB.

La secuencia de comandos de instalación crea un archivo en la carpeta no documentada /opt/elasticbeanstalk/hooks/appdeploy/post/ que vive en todas las instancias de EB. Cualquier script de shell allí se ejecutará después de la implementación. El script de shell que se coloca allí funciona de la siguiente manera:

1. En la variable celeryenv , el entorno virutalenv se almacena en un formato que sigue la notación de supervisión. Esta es una lista de variables env separadas por comas.
2. A continuación, la secuencia de comandos crea una variable celeryconf que contiene el archivo de configuración como una cadena, que incluye las variables env analizadas previamente.
3. Esta variable se canaliza en un archivo llamado celeryd.conf , un archivo de configuración de supervisión para el daemon de apio.
4. Finalmente, la ruta al archivo de configuración recién creado se agrega al archivo supervisord.conf principal, si aún no está allí.

Aquí hay una copia de la secuencia de comandos:

files:
"/opt/elasticbeanstalk/hooks/appdeploy/post/run_supervised_celeryd.sh":
mode: "000755"
owner: root
group: root
content: |
#!/usr/bin/env bash
# Get django environment variables
celeryenv=`cat /opt/python/current/env | tr ''/n'' '','' | sed ''s/export //g'' | sed ''s/$PATH/%(ENV_PATH)s/g'' | sed ''s/$PYTHONPATH//g'' | sed ''s/$LD_LIBRARY_PATH//g''`
celeryenv=${celeryenv%?}
# Create celery configuraiton script
celeryconf="[program:celeryd]
; Set full path to celery program if using virtualenv
command=/opt/python/run/venv/bin/celery worker -A myappname --loglevel=INFO
directory=/opt/python/current/app
user=nobody
numprocs=1
stdout_logfile=/var/log/celery-worker.log
stderr_logfile=/var/log/celery-worker.log
autostart=true
autorestart=true
startsecs=10
; Need to wait for currently executing tasks to finish at shutdown.
; Increase this if you have very long running tasks.
stopwaitsecs = 600
; When resorting to send SIGKILL to the program to terminate it
; send SIGKILL to its whole process group instead,
; taking care of its children as well.
killasgroup=true
; if rabbitmq is supervised, set its priority higher
; so it starts first
priority=998
environment=$celeryenv"
# Create the celery supervisord conf script
echo "$celeryconf" | tee /opt/python/etc/celery.conf
# Add configuration script to supervisord conf (if not there already)
if ! grep -Fxq "[include]" /opt/python/etc/supervisord.conf
then
echo "[include]" | tee -a /opt/python/etc/supervisord.conf
echo "files: celery.conf" | tee -a /opt/python/etc/supervisord.conf
fi
# Reread the supervisord config
supervisorctl -c /opt/python/etc/supervisord.conf reread
# Update supervisord in cache without restarting all services
supervisorctl -c /opt/python/etc/supervisord.conf update
# Start/Restart celeryd through supervisord
supervisorctl -c /opt/python/etc/supervisord.conf restart celeryd

Answer 2

Estaba tratando de hacer algo similar en PHP, pero por alguna razón no pude mantener al trabajador ejecutándose. Cambié a una AMI en un servidor EC2 y he tenido éxito desde entonces.