apache-spark - usando - lista desplegable excel autocompletar

Upacking una lista para seleccionar varias columnas de un marco de datos de chispa

Question

Tengo un marco de datos de chispa df . ¿Hay alguna forma de seleccionar algunas columnas usando una lista de estas columnas?

scala> df.columns
res0: Array[String] = Array("a", "b", "c", "d")

Sé que puedo hacer algo como df.select("b", "c") . Pero supongamos que tengo una lista que contiene algunos nombres de columna val cols = List("b", "c") , ¿hay alguna manera de pasar esto a df.select? df.select(cols) arroja un error. Algo así como df.select(*cols) como en python

Answer 1

Otra opción que acabo de aprender.

import org.apache.spark.sql.functions.col
val columns = Seq[String]("col1", "col2", "col3")
val colNames = columns.map(name => col(name))
val df = df.select(colNames:_*)

Answer 2

Puede encasillar Cadena para centellear columna de esta manera:

import org.apache.spark.sql.functions._
df.select(cols.map(col): _*)

Answer 3

Puede pasar argumentos de tipo Column* para select :

val df = spark.read.json("example.json")
val cols: List[String] = List("a", "b")
//convert string to Column
val col: List[Column] = cols.map(df(_))
df.select(col:_*)

Answer 4

Utilice df.select(cols.head, cols.tail: _*)

Déjame saber si funciona :)

Explicación de @Ben :

La clave es la firma del método de seleccionar:

select(col: String, cols: String*)

La entrada cols:String* toma una cantidad variable de argumentos. :_* descomprime argumentos para que puedan ser manejados por este argumento. Muy similar al desempaquetado en python con *args . Vea here y here para otros ejemplos.

Answer 5

puedes hacer esto

String[] originCols = ds.columns();
ds.selectExpr(originCols)

spark selectExp código fuente

     /**
   * Selects a set of SQL expressions. This is a variant of `select` that accepts
   * SQL expressions.
   *
   * {{{
   *   // The following are equivalent:
   *   ds.selectExpr("colA", "colB as newName", "abs(colC)")
   *   ds.select(expr("colA"), expr("colB as newName"), expr("abs(colC)"))
   * }}}
   *
   * @group untypedrel
   * @since 2.0.0
   */
  @scala.annotation.varargs
  def selectExpr(exprs: String*): DataFrame = {
    select(exprs.map { expr =>
      Column(sparkSession.sessionState.sqlParser.parseExpression(expr))
    }: _*)
  }