c# - start - hbase tutorial español

cómo conectarse a la base de datos HBase/Hadoop usando C#

Question

Recientemente, explorando Microsoft HDInsight Hadoop para Windows. Pero no sé por dónde empezar y comienza a usar apache hadoop con c # / asp.net mvc.

Sé que http://hadoopsdk.codeplex.com/ es el mejor recurso disponible para comenzar, pero no puedo encontrar documentación para comenzar desde cero. como crear clúster, base de datos y luego conectarlo a la aplicación C #.

Answer 1

Puede encontrar útil el proyecto HBase-sharp . Puede visitar su página bitbucket para obtener información detallada. Me parece prometedor También incluye un ejemplo. Puedes encontrarlo aquí .

HTH

Answer 2

La forma más fácil de comenzar es utilizar el servicio HDInsight en Azure (que todavía está en la vista previa, pero que funciona bien). De esta forma, puede iniciar sesión en su portal azul y activar un clúster, que se vinculará con su almacenamiento azul.

Si realmente no desea ir a la nube, puede descargar el paquete de vista previa del desarrollador de HDInsight a través del instalador de la plataforma web , que creará un clúster local de un solo nodo. Alternativamente, si está interesado en ''just hadoop'', puede intentar usar las máquinas virtuales proporcionadas por Hortonworks o Cloudera.

Después de eso, probablemente valga la pena comenzar con Hive si está familiarizado con SQL. La Guía Definitiva de O''Reilly para Hadoop es bastante buena en eso.

Desde el punto de vista de .NET, el hadoopsdk en Codeplex es un buen lugar para comenzar.

En cuanto a ejemplos de conexión muy básicos, pruebe este blog para ver un ejemplo, pero tenga en cuenta que la conexión para HDInsight es ligeramente diferente ahora que todo está usando la interfaz de Templeton, así que esto lo pondrá en marcha:

var db = new HiveConnection(
        webHCatUri: new Uri("http://localhost:50111"),
        userName: (string) "hadoop", password: (string) null);
var result = db.ExecuteHiveQuery("select * from w3c");

Si está buscando hacerlo completo en MapReduce en HDInsight, entonces probablemente quiera echar un vistazo a los ejemplos de C # MapReduce con el sdk en codeplex.

Tenga en cuenta que la instalación predeterminada de HDInsight también viene con algunas buenas muestras, que incluyen un poco de datos para jugar y algunos scripts de PowerShell y código .NET para que pueda comenzar.

¡Disfrutar!

Answer 3

mira esto https://github.com/hdinsight/hbase-sdk-for-net del equipo HDInsight

Answer 4

Microsoft lanzó una vista previa de su cliente .NET ProtoBuf para Phoenix / Hbase en Nuget.org en junio. He encontrado que funcionó bien, pero la API no me resultaba familiar. A medida que lo aprendí, implementé una API de .NET Framework System.Data IDbConnection, IDbCommand et al envolviendo a su alrededor, llamado Garuda.Data. Hace que el acceso a Phoenix / Hbase desde el código .NET se sienta casi como SqlConnection, SqlCommand, etc. para SQL Server - Compruébelo: https://www.nuget.org/packages/Garuda.Data/

Aquí está el repositorio del proyecto github: https://github.com/dwdii/GarudaUtil

Y un código de ejemplo:

using (IDbConnection phConn = new PhoenixConnection())
{
    phConn.ConnectionString = cmdLine.ConnectionString;

    phConn.Open();

    using (IDbCommand cmd = phConn.CreateCommand())
    {
        cmd.CommandText = "SELECT * FROM GARUDATEST";
        using (IDataReader reader = cmd.ExecuteReader())
        {
            while(reader.Read())
            {
                for(int i = 0; i < reader.FieldCount; i++)
                {
                    Console.WriteLine(string.Format("{0}: {1}", reader.GetName(i), reader.GetValue(i)));
                }
            }
        }
    }                        
}