propias - python parametros linea comando

¿Puedo agregar argumentos al código de Python cuando presento el trabajo de chispa?

Question

Estoy tratando de usar spark-submit para ejecutar mi código python en spark cluster.

En general, ejecutamos spark-submit con el código python como se muestra a continuación.

# Run a Python application on a cluster
./bin/spark-submit /
--master spark://207.184.161.138:7077 /
my_python_code.py /
1000

Pero quiero ejecutar my_python_code.py pasando varios argumentos. ¿Hay una manera inteligente de pasar argumentos?

Answer 1

Ah, es posible. http://caen.github.io/hadoop/user-spark.html

spark-submit /
--master yarn-client / # Run this as a Hadoop job
--queue <your_queue> / # Run on your_queue
--num-executors 10 / # Run with a certain number of executors, for example 10
--executor-memory 12g / # Specify each executor''s memory, for example 12GB
--executor-cores 2 / # Specify each executor''s amount of CPUs, for example 2
job.py ngrams/input ngrams/output

Answer 2

Sí : ponga esto en un archivo llamado args.py

#import sys
print sys.argv

Si tu corres

spark-submit args.py a b c d e 

Ya verás:

[''/spark/args.py'', ''a'', ''b'', ''c'', ''d'', ''e'']

Answer 3

Incluso sys.argv es una solución ganadora, prefiero esta forma adecuada de manejar los argumentos de comando de línea en mis trabajos de Spark:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("--ngrams", help="some useful description.")
args = parser.parse_args()
if args.ngrams:
ngrams = args.ngrams

A continuación, inicie su trabajo de la siguiente manera:

spark-submit job.py --ngrams 3

Se puede encontrar más información sobre el módulo argparse en Argparse Tutorial