string - current - spark date functions

cómo convertir el valor current_timestamp() en una cadena en scala

Question

He intentado agregar una marca de tiempo a mis marcos de datos y persistirlos para colgar.

Pero aquí está el problema: como no puedo usar marcas de tiempo como tipo de datos en la versión de colmena 0.13, quiero convertir current_timestamp() del tipo de datos de marca de tiempo en cadena para que pueda cargarlo en mi tabla de colmenas.

Aquí está mi columna de marca de tiempo:

[2017-01-12 12:55:55.278] [2017-01-12 12:55:55.278] [2017-01-12 12:55:55.278] [2017-01-12 12:55:55.278] [2017-01-12 12:55:55.278]

Lo he intentado pero sin suerte:

 val ts = current_timestamp()
val df:SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd")
val date:String = df.format(ts.toLong)

¿Alguna forma de convertir la marca de tiempo en cadena en Scala?

Answer 1

Es bastante fácil de lo que esperaba, he agregado una marca de tiempo a mi marco de datos de esta manera,

val NewDF = oldDF.withColumn("newColumn_name",current_timestamp())

Y echó la marca de tiempo en una cadena como esta,

val NewDF = oldDF.withColumn("newColumn_name",current_timestamp().cast("String"))

Azada, esto ayuda a alguien.

Gracias.

Answer 2

val format = new java.text.SimpleDateFormat("yyyy-MM-dd")
format.format(new java.util.Date())