海内存知已,天涯若比邻。——王勃
/**
     * flatmap算子
     * 数据处理
     * */
    public static void flatmapDemo(){

        //创建SparkConf
        SparkConf conf = new SparkConf().setAppName("flatmap").setMaster("local");
        //创建javaSparkContext
        JavaSparkContext sc = new JavaSparkContext(conf);

        //构建JavaRDD
        List<String> words = Arrays.asList("a_1", "b_2", "c_3", "d_4");
        JavaRDD<String> inputRDD = sc.parallelize(words);

        // 使用flatmap()对字符串进行分词,得到一组单词
        JavaRDD<String> result = inputRDD.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public Iterator<String> call(String s) throws Exception {
                return Arrays.asList(s.split("_")).iterator();
            }
        });

         //输出
         result.foreach(new VoidFunction<String>() {
             @Override
             public void call(String s) throws Exception {
                 System.out.println(s);
             }
         });
  }
答案: D
;
版权声明: 本文为智客工坊「楠木大叔」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

results matching ""

    No results matching ""