hadoop - functions - hive timestamp data type

Colgar texto UDF en matriz

Question

Intento crear un UDF para Hive que me da más funcionalidad que la función split() ya provista.

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public class LowerCase extends UDF {

  public Text evaluate(final Text text) {
    return new Text(stemWord(text.toString()));
  }

  /**
   * Stems words to normal form.
   * 
   * @param word
   * @return Stemmed word.
   */
  private String stemWord(String word) {
    word = word.toLowerCase();
    // Remove special characters
    // Porter stemmer
    // ...
    return word;
  }
}

Esto está funcionando en Hive. Exporto esta clase a un archivo jar. Luego lo cargo en Hive con

add jar /path/to/myJar.jar;

y crea una función usando

create temporary function lower_case as ''LowerCase'';

Tengo una tabla con un campo String. La declaración es entonces:

select lower_case(text) from documents;

Pero ahora quiero crear una función que devuelva una matriz (como, por ejemplo, dividir).

import java.util.ArrayList;
import java.util.List;
import java.util.StringTokenizer;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public class WordSplit extends UDF {

  public Text[] evaluate(final Text text) {
    List<Text> splitList = new ArrayList<>();

    StringTokenizer tokenizer = new StringTokenizer(text.toString());

    while (tokenizer.hasMoreElements()) {
      Text word = new Text(stemWord((String) tokenizer.nextElement()));

      splitList.add(word);
    }

    return splitList.toArray(new Text[splitList.size()]);
  }

  /**
   * Stems words to normal form.
   * 
   * @param word
   * @return Stemmed word.
   */
  private String stemWord(String word) {
    word = word.toLowerCase();
    // Remove special characters
    // Porter stemmer
    // ...
    return word;
  }
}

Lamentablemente, esta función no funciona si hago exactamente el mismo procedimiento de carga mencionado anteriormente. Me aparece el siguiente error:

FAILED: SemanticException java.lang.IllegalArgumentException: Error: name expected at the position 7 of ''struct<>'' but ''>'' is found.

Como no he encontrado ninguna documentación que mencione este tipo de transformación, ¡espero que me des un consejo!

Answer 1

No creo que la interfaz ''UDF'' proporcione lo que quieres. Desea usar GenericUDF. Usaría la fuente de la UDF dividida como guía.

http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/org.apache.hadoop.hive/hive-exec/0.7.1-cdh3u1/org/apache/hadoop/hive/ql/ udf / generic / GenericUDFSplit.java

Answer 2

En realidad, la interfaz ''UDF'' admite la devolución de una matriz.

Devuelve ArrayList<Text> o incluso ArrayList<String> lugar de Text[]

Tu código debería verse así:

import java.util.ArrayList;
import java.util.List;
import java.util.StringTokenizer;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public class WordSplit extends UDF {

  public ArrayList<String> evaluate(final Text text) {
    ArrayList<String> splitList = new ArrayList<String>();

    StringTokenizer tokenizer = new StringTokenizer(text.toString());

    while (tokenizer.hasMoreElements()) {
      String word = stemWord((String) tokenizer.nextElement());
      splitList.add(word);
    }
    return splitList;
  }

  /**
   * Stems words to normal form.
   *
   * @param word
   * @return Stemmed word.
   */
  private String stemWord(String word) {
    word = word.toLowerCase();
    return word;
  }
}