data - Cómo importar CSV o JSON a firebase cloud firestore

mysql to firestore

Question

¿Hay alguna forma de importar CSV o JSON a firebase cloud firestore como en la base de datos en tiempo real de firebase?

Answer 1

Necesitas un script personalizado para hacer eso.

Escribí uno basado en el SDK de administración de Firebase, siempre que la biblioteca de firebase no te permita importar matrices de datos anidadas .

const admin = require(''./node_modules/firebase-admin'');
const serviceAccount = require("./service-key.json");

const data = require("./data.json");

admin.initializeApp({
    credential: admin.credential.cert(serviceAccount),
    databaseURL: "https://YOUR_DB.firebaseio.com"
});

data && Object.keys(data).forEach(key => {
    const nestedContent = data[key];

    if (typeof nestedContent === "object") {
        Object.keys(nestedContent).forEach(docTitle => {
            admin.firestore()
                .collection(key)
                .doc(docTitle)
                .set(nestedContent[docTitle])
                .then((res) => {
                    console.log("Document successfully written!");
                })
                .catch((error) => {
                    console.error("Error writing document: ", error);
                });
        });
    }
});

Actualización: escribí un artículo sobre este tema - Rellenando Firestore con datos

Answer 2

No hay, tendrás que escribir tu propio script en este momento.

Answer 3

No, a partir de ahora, no puede. Firestore estructura los datos en un formato diferente, es decir, utilizando colecciones y cada colección tiene una serie de documentos que luego se almacenan en formato JSON. En el futuro, pueden crear una herramienta para convertir JSON. en firestore .. para referencia mira esto

: https://cloud.google.com/firestore/docs/concepts/structure-data

**** EDITAR: ****

Puede automatizar el proceso hasta cierto punto, es decir, escribir un software simulado que solo inserta los campos de sus datos CSV o JSON en su base de datos de Cloud Firestore. Migré toda mi base de datos haciendo solo una aplicación simple que recuperó mi base de datos y la inserté en Firestore

Answer 4

Para referencia. Escribí una función que ayuda a importar y exportar datos en Firestore.

https://github.com/dalenguyen/firestore-import-export

Answer 5

Utilicé la Solución General provista por Maciej Caputa. Gracias (:

Aquí hay algunos consejos. Suponiendo que tiene una aplicación Ionic Firebase instalada con los módulos de nodo Firebase necesarios en la carpeta de funciones dentro de esa solución. Esta es una instalación estándar de Ionic Firebase. Creé una carpeta de importación para mantener el script y los datos en el mismo nivel.

Jerarquía de carpetas

myIonicApp
    functions
        node_modules
            firebase-admin
ImportFolder
    script.js
    FirebaseIonicTest-a1b2c3d4e5.json
    fileToImport.json

Parámetros de script

const admin = require(''../myIonicApp/functions/node_modules/firebase-admin''); //path to firebase-admin module
const serviceAccount = require("./FirebaseTest-xxxxxxxxxx.json"); //service account key file

admin.initializeApp({
  credential: admin.credential.cert(serviceAccount),
  databaseURL: "https://fir-test-xxxxxx.firebaseio.com" //Your domain from the hosting tab
});

Creación del archivo de clave de cuenta de servicio

• En la consola de Firebase para su proyecto, junto al elemento Project Overwiew, haga clic en el icono de engranaje y seleccione Usuarios y permisos
• En la parte inferior de la pantalla, haga clic en Configuración de permisos avanzada

• Esto abre otra pestaña para la consola de Google Cloud Platform.
• A la izquierda, seleccione el elemento Cuentas de servicio.
• Crear una cuenta de servicio para una cuenta de servicio existente

Simplemente agregué una clave a la cuenta de servicio predeterminada de App Engine

La función Crear clave ofrecerá descargar la clave a un archivo JSON

Estructura de datos JSON

Para utilizar el script proporcionado, la estructura de datos debe ser la siguiente:

{
  "myCollection" : {
    "UniqueKey1" : {
      "field1" : "foo",
      "field2" : "bar"
    },{
    "UniqueKey2" : {
      "field1" : "fog",
      "field2" : "buzz"
    }...
}

Answer 6

https://gist.github.com/JoeRoddy/1c706b77ca676bfc0983880f6e9aa8c8

Esto debería funcionar para un objeto de objetos (generalmente cómo se configura el antiguo firebase json). Puede agregar ese código a una aplicación que ya está configurada con Firestore.

Solo asegúrate de que lo tienes apuntando al archivo JSON correcto.

¡Buena suerte!

Answer 7

Solución general

He encontrado muchas tomas en un script que permite cargar un JSON pero ninguna de ellas permite subcolecciones. Mi script anterior maneja cualquier nivel de anidación y subcolecciones. También maneja el caso en el que un documento tiene sus propios datos y subcolecciones. Esto se basa en el supuesto de que la colección es una matriz / objeto de objetos (incluido un objeto o una matriz vacía).

Para ejecutar el script, asegúrese de tener npm y un nodo instalado. Luego ejecute su código como node <name of the file> . Tenga en cuenta que no es necesario implementarlo como una función de nube.

const admin = require(''../functions/node_modules/firebase-admin'');
const serviceAccount = require("./service-key.json");

admin.initializeApp({
  credential: admin.credential.cert(serviceAccount),
  databaseURL: "https://<your-database-name>.firebaseio.com"
});

const data = require("./fakedb.json");

/**
 * Data is a collection if
 *  - it has a odd depth
 *  - contains only objects or contains no objects.
 */
function isCollection(data, path, depth) {
  if (
    typeof data != ''object'' ||
    data == null ||
    data.length === 0 ||
    isEmpty(data)
  ) {
    return false;
  }

  for (const key in data) {
    if (typeof data[key] != ''object'' || data[key] == null) {
      // If there is at least one non-object item then it data then it cannot be collection.
      return false;
    }
  }

  return true;
}

// Checks if object is empty.
function isEmpty(obj) {
  for(const key in obj) {
    if(obj.hasOwnProperty(key)) {
      return false;
    }
  }
  return true;
}

async function upload(data, path) {
  return await admin.firestore()
    .doc(path.join(''/''))
    .set(data)
    .then(() => console.log(`Document ${path.join(''/'')} uploaded.`))
    .catch(() => console.error(`Could not write document ${path.join(''/'')}.`));
}

/**
 *
 */
async function resolve(data, path = []) {
  if (path.length > 0 && path.length % 2 == 0) {
    // Document''s length of path is always even, however, one of keys can actually be a collection.

    // Copy an object.
    const documentData = Object.assign({}, data);

    for (const key in data) {
      // Resolve each collection and remove it from document data.
      if (isCollection(data[key], [...path, key])) {
        // Remove a collection from the document data.
        delete documentData[key];
        // Resolve a colleciton.
        resolve(data[key], [...path, key]);
      }
    }

    // If document is empty then it means it only consisted of collections.
    if (!isEmpty(documentData)) {
      // Upload a document free of collections.
      await upload(documentData, path);
    }
  } else {
    // Collection''s length of is always odd.
    for (const key in data) {
      // Resolve each collection.
      await resolve(data[key], [...path, key]);
    }
  }
}

resolve(data);