scala - memoria - ¿Cómo eliminar el DDR?

que es ddr4

Question

Usé cache() para almacenar en caché los datos en la memoria, pero me di cuenta de que para ver el rendimiento sin datos almacenados en caché, necesito desencaparlo para eliminar datos de la memoria:

rdd.cache();
//doing some computation
...
rdd.uncache()

pero recibí el error, dijo:

value uncache no es miembro de org.apache.spark.rdd.RDD [(Int, Array [Float])]

¡No sé cómo hacer el uncache entonces!

Answer 1

La función de descatalogación no existe. Creo que estabas buscando unpersist. Que según Spark ScalaDoc marca el RDD como no persistente, y elimina todos los bloques de la memoria y el disco.

Answer 2

RDD puede ser descatalogado usando unpersist()

rdd.unpersist()

source

Answer 3

Si almacena en caché los datos de origen en un RDD utilizando .cache() o Ha declarado memoria pequeña. o la memoria predeterminada se usa y es de aproximadamente 500 MB para mí. y está ejecutando el código una y otra vez,

Entonces este error ocurre. Intente borrar todo el RDD al final del código, por lo que cada vez que se ejecuta el código, se crea el RDD y también se elimina de la memoria.

Haga esto usando: RDD_Name.unpersist()