Apache Flink: creación de una aplicación Flink

En este capítulo, aprenderemos cómo crear una aplicación Flink.

Abra Eclipse IDE, haga clic en Nuevo proyecto y seleccione Proyecto Java.

Dé el nombre del proyecto y haga clic en Finalizar.

Ahora, haga clic en Finalizar como se muestra en la siguiente captura de pantalla.

Ahora, haga clic derecho en src y vaya a Nueva >> Clase.

Dé un nombre de clase y haga clic en Finalizar.

Copie y pegue el siguiente código en el Editor.

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.util.Collector;
public class WordCount {

   // *************************************************************************
   // PROGRAM
   // *************************************************************************
   public static void main(String[] args) throws Exception {
      final ParameterTool params = ParameterTool.fromArgs(args);
      // set up the execution environment
      final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
      // make parameters available in the web interface
      env.getConfig().setGlobalJobParameters(params);
      // get input data
      DataSet<String> text = env.readTextFile(params.get("input"));
      DataSet<Tuple2<String, Integer>> counts =
      // split up the lines in pairs (2-tuples) containing: (word,1)
      text.flatMap(new Tokenizer())
      // group by the tuple field "0" and sum up tuple field "1"
      .groupBy(0)
      .sum(1);
      // emit result
      if (params.has("output")) {
         counts.writeAsCsv(params.get("output"), "\n", " ");
         // execute program
         env.execute("WordCount Example");
      } else {
         System.out.println("Printing result to stdout. Use --output to specify output path.");
         counts.print();
      }
   }
   
   // *************************************************************************
   // USER FUNCTIONS
   // *************************************************************************
   public static final class Tokenizer implements FlatMapFunction<String, Tuple2<String, Integer>> {
      public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
         // normalize and split the line
         String[] tokens = value.toLowerCase().split("\\W+");
         // emit the pairs
         for (String token : tokens) {
            if (token.length() > 0) {
               out.collect(new Tuple2<>(token, 1));
            }
         }
      }
   }
}

Obtendrá muchos errores en el editor, porque las bibliotecas de Flink deben agregarse a este proyecto.

Haga clic con el botón derecho en el proyecto >> Ruta de compilación >> Configurar ruta de compilación.

Seleccione la pestaña Bibliotecas y haga clic en Agregar JAR externos.

Vaya al directorio de bibliotecas de Flink, seleccione las 4 bibliotecas y haga clic en Aceptar.

Vaya a la pestaña Solicitar y exportar, seleccione todas las bibliotecas y haga clic en Aceptar.

Verás que los errores ya no existen.

Ahora, exportemos esta aplicación. Haga clic derecho en el proyecto y haga clic en Exportar.

Seleccione el archivo JAR y haga clic en Siguiente

Dé una ruta de destino y haga clic en Siguiente

Haga clic en Siguiente>

Haga clic en Examinar, seleccione la clase principal (WordCount) y haga clic en Finalizar.

Note - Haga clic en Aceptar, en caso de que reciba alguna advertencia.

Ejecute el siguiente comando. Además, ejecutará la aplicación Flink que acaba de crear.

./bin/flink run /home/ubuntu/wordcount.jar --input README.txt --output /home/ubuntu/output