mysql - sparksession - spark sql

En Apache Spark 2.0.0, ¿es posible obtener una consulta de una base de datos externa(en lugar de tomar toda la tabla)?

Question

Usando pyspark:

from pyspark.sql import SparkSession

spark = SparkSession/
    .builder/
    .appName("spark play")/
    .getOrCreate()    

df = spark.read/
    .format("jdbc")/
    .option("url", "jdbc:mysql://localhost:port")/
    .option("dbtable", "schema.tablename")/
    .option("user", "username")/
    .option("password", "password")/
    .load()

En lugar de buscar "schema.tablename", preferiría obtener el conjunto de resultados de una consulta.

Answer 1

Igual que en 1.x puede pasar una subconsulta válida como argumento dbtable por ejemplo:

...
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")
...