google analytics - Programar consulta en BigQuery

google-analytics google-bigquery

Question

Tengo una consulta BigQuery que une dos tablas (exportaciones diarias de Google Analytics). Lo que quiero es guardar la consulta como una vista o tabla, pero que esa vista final / tabla se actualice automáticamente todos los días a medida que los nuevos datos de Google Analytics se cargan en BigQuery.

Gracias por tu ayuda

Answer 1

Actualizar

La programación de consultas recurrentes está disponible ahora en BigQuery desde septiembre de 2018

BigQuery por sí solo no proporciona ningún mecanismo de programación.

Puede usar una solución de terceros o desarrollar la suya con el cliente que elija
https://cloud.google.com/bigquery/docs/reference/libraries

Por ejemplo,

Puede usar App Engine Cron Service para automatizar la ejecución de consultas BigQuery https://cloud.google.com/appengine/docs/java/config/cron https://cloud.google.com/appengine/features/#cron https://cloud.google.com/bigquery/bigquery-api-quickstart

O bien, puede usar el script de Google Apps para realizar un script de consulta BigQuery con un activador basado en el tiempo para ejecutar ese script
https://developers.google.com/apps-script/advanced/bigquery https://developers.google.com/apps-script/guides/triggers/installable#time-driven_triggers

Además, verifique las funciones de Google Cloud introducidas recientemente (Beta)
https://cloud.google.com/functions/docs/

Answer 2

Para agregar a la respuesta de Mikhail, consulte esta hoja de Google fácil de implementar:

https://docs.google.com/spreadsheets/d/1JZkkKcT9yrcYc1g8QqJaIE6PJtoFig3G_ZNbtXuK6fw/edit

1. Copia esta hoja.
2. Personalice con su consulta y destino.
3. Ejecute el script, asegúrese de que los permisos estén configurados correctamente.
4. Programe un disparador por hora / diario / etc.

Fuente: https://twitter.com/anilopez/status/958382085407883264

Answer 3

Puede usar Google Cloud Composer con el complemento BiggerQuery: https://biggerquery.com/

1. Instalar Cloud Composer con BiggerQuery
2. Copia y pega tu código
3. Programarla

Answer 4

Nueva función : https://cloud.google.com/bigquery/docs/scheduling-queries

BigQuery ha programado la función de consultas en Beta ahora.

Debería habilitar el Servicio de transferencia de datos BigQuery y las "consultas programadas" se encuentran en el menú del Servicio de transferencia BigQuery.