hadoop - qué - Google Analytics: obtención de registros de datos brutos

universal analytics

Question

Tengo una aplicación que envía datos a Google Analytics. Estoy interesado en acceder y almacenar esta información en un clúster de Hadoop. Supongo que estos datos brutos estarán en forma de registros. En particular, me gustaría ver el user_id, las búsquedas realizadas por el usuario y la opción de búsqueda que él / ella decidió pagar en la aplicación.

¿Cómo puedo hacer esto? Soy completamente nuevo en GA y no fui quien configuró GA para la aplicación. Solo estoy tratando de ver si hay una forma de acceder a esta información sin procesar.

Me gustaría agregar que no puedo usar Big Query ya que no tenemos acceso a él. Y las personas que configuran GA no están interesadas en actualizarse a Universal Analytics.

Cualquier ayuda / pensamientos / sugerencias son apreciadas.

¡Gracias!

Answer 1

Puede obtener datos agregados, es decir. datos que puede ver en su cuenta de Google Analytics, utilizando la API de Google Analytics. Para obtener datos brutos, debe ser un usuario premium (costos ~ 150k por año). Los usuarios Premium pueden exportar a Google BigQuery y desde allí a donde quieran.

Answer 2

No hay forma de obtener los registros, pero ...

La API de Google Analytics le permitirá extraer sus datos del sistema.

Hay límites a lo que puede hacer:

1. está limitado a 7 dimensiones y 10 métricas por solicitud.
2. También hay una cuota de 10k solicitudes por día por perfil (vista).
3. parte de la información de la que está hablando no está disponible. A menos que la cuenta de Google Analytics esté configurada correctamente.
4. Los datos se agregarán de una forma u otra. La unidad de tiempo más pequeña disponible en la API son los minutos, por lo que no podrá obtener datos brutos con marcas de tiempo, por ejemplo.

Puede ser bueno tener en cuenta que un cliente profesional de Google Analytics podría exportar los datos brutos de GA a Big Query . La exportación de datos de BigQuery es gratuita, pero el procesamiento de almacenamiento y consultas tiene un precio basado en el uso.

Análisis Premium a un precio razonable por una tarifa anual plana de $ 150,000

Answer 3

Para obtener datos de GA, haga clic por clic y podrá realizar consultas de una manera que le permita unir datos.

Primero debes preparar los datos en GA. Por lo tanto, con cada hit que envíe, agregue un valor hash o el ID de cliente + alguna marca de tiempo en una dimensión personalizada. Esto le dará la posibilidad de unirse a cada resultado de consulta.

Por ejemplo, así es como lo hacemos en Scitylana. Este guión a continuación se engancha con el guión de seguimiento de GA y se asegura de que cada acierto contenga una clave para su posterior confección de los resultados de la consulta.

<script>
var BindingsDimensionIndex = CUSTOM DIMENSION INDEX HERE;
var Version = 1;

function overrideBuildTask() {
    var c = window[window[''GoogleAnalyticsObject''] || ''ga''];
    var d = c.getAll();
    if (console) { console.log(''Found '' + d.length + '' ga trackers'') }
    for (var i = 0; i < d.length; i++) {
        var e = d[i]; var f = e.get(''name'');
        if (console) { console.log(f + '' modified'') }
        var g = e.get(''buildHitTask'');
        if (!e.buildHitTaskIsModified) {
            e.set(''buildHitTask'', function(a) {
            window[''_sc_order''] = typeof window[''_sc_order''] == ''undefined'' ? 0 : window[''_sc_order''] + 1;
                var b = [''sl='' + Version, ''u='' + e.get(''clientId''), ''t='' + (new Date().getTime() + window[''_sc_order''])].join(''&'');
                a.set(''dimension'' + BindingsDimensionIndex, b);
                g(a);
                if (console) {
                    console.log(f + ''.'' + a.get(''hitType'') + ''.set.customDimension'' + BindingsDimensionIndex + '' = '' + b)
                }
            });
            e.buildHitTaskIsModified = true
        }
    }
}
window.ga = window.ga || function() {
    (ga.q = ga.q || []).push(arguments);
    if (arguments[0] === ''create'') { ga(overrideBuildTask) }
};
ga.l = +new Date();

</script>

Por supuesto, ahora necesita hacer un script que combine todos los resultados que ha sacado de GA.

Una versión gratuita de la herramienta comercial llamada Scitylana está disponible para descargar.

Descargo de responsabilidad: tengo una participación en la empresa

Answer 4

ya que se supone que debemos responder a la pregunta original, no hay forma de obtener registros crudos de Google Analytics de manera diferente a la duplicación del sistema de llamadas al servidor.

En otras palabras, debe usar una copia modificada del script analytics.js para apuntar a un servidor web alojado que pueda recopilar llamadas al servidor.

En pocas palabras, ¿desea que su sitio capture los hits en http://www.yourdatacollectionserver.com/collect?v=1&t=pageview [...] en lugar de http://www.google-analytics.com/collect? v = 1 & t = pageview [...]

Esto se implementa fácilmente usando un administrador de etiquetas como Google''s GTM, junto con las etiquetas normales de Google Analytics.

Eso creará de manera efectiva entradas de registro en su servidor web que puede procesar usando un ETL o Snowplow o Splunk o su motor de análisis de texto Python / perl / Ruby favorito.

Depende de usted procesar los registros brutos reales en algo manejable. Y antes de preguntar, esto no es retroactivo.