guide - ¿Cómo importar un gran conjunto de datos a SAS?

sas enterprise guide español

Question

Tengo un conjunto de datos bastante grande en el archivo de texto con aproximadamente 25 millones de filas y 200 columnas (todas ellas son numéricas). Me gustaría ejecutar algunas estadísticas de resumen y análisis de datos (análisis de supervivencia) en ellos.

1. ¿Cuál es la forma más rápida de importar los datos en SAS ?

2. ¿Cuánta memoria necesito para mi PC para ejecutar un conjunto de datos tan grande?

Como soy nuevo en SAS cualquier consejo sería muy apreciado.

Answer 1

Advertencia: nunca hago este tipo de cosas en SAS, pero creo que entiendo cómo SAS funciona lo suficientemente bien como para hacer algunas conjeturas.

1. No estoy seguro de que algo vaya a ser mucho más rápido que solo leer su conjunto de datos al usar PROC IMPORT. Especificar sus informats y formatos por adelantado puede ayudar a acelerar un poco las cosas, pero PROC IMPORT los infiere de solo los primeros 20 registros de manera predeterminada, por lo que no es como si fuera a leer todo su conjunto de datos para averiguar qué tipos de datos usar. El hecho de que sus columnas sean todas numéricas probablemente sea útil. Lo más importante es asegurarse de guardar los resultados en un conjunto de datos permanente (es decir, especificar una biblioteca para él); si solo tiene que importar los datos una vez, realmente no importa si lleva mucho tiempo.

2. Una de las cosas buenas de SAS es que mantiene los datos en el disco en lugar de la memoria de forma predeterminada, por lo que el tamaño de la memoria RAM no limita realmente el tamaño de su conjunto de datos. Puede limitar lo que puede hacer con ese conjunto de datos, pero no sé lo suficiente sobre las operaciones internas de SAS para poder predecir con qué tendrá problemas.

Espero que esto sea de alguna ayuda, pero sobre todo, te animo a que comiences. Descubrirá muy rápidamente lo que SAS puede y no puede hacer con sus datos.