sql - qué - universo estático universo en expansión ley de hubble(corrimiento al rojo)

omitir el registro incorrecto en la carga de datos de desplazamiento al rojo

Question

Estoy tratando de cargar datos en el desplazamiento al rojo de AWS usando el siguiente comando

copy venue from ''s3://mybucket/venue''
credentials ''aws_access_key_id=<access-key-id>;aws_secret_access_key=<secret-access-key>''
delimiter ''/t'';

pero la carga de datos está fallando, cuando verifiqué la sección de Consulta para esa carga específica, noté que falló debido a "Secuencia hex de UTF8 incorrecta: a4 (error 3)"

¿Hay alguna manera de omitir los registros incorrectos en la carga de datos en el desplazamiento al rojo?

Answer 1

Sí, puedes usar el parámetro maxerror. Este ejemplo permitirá omitir hasta 250 registros erróneos (los errores se escriben en stl_load_errors):

copy venue from ''s3://mybucket/venue'' credentials ''aws_access_key_id=;aws_secret_access_key='' delimiter ''/t'' maxerror as 250;