小编xer*_*tal的帖子

在不提供 .jar 的情况下在远程集群上运行 Flink 作业

我有以下问题:我想在本地机器上的 IntelliJ 中创建一个 Flink 作业,并在位于 VM 中的远程集群上运行它。我使用了createRemoteEnvironment函数,但匿名类以及 lambda 表达式需要 jar 文件(如果我没有遗漏任何东西)。是否有(或另一种)方法可以在不提供 jar 文件的情况下在远程集群上运行 Flink 作业?下面的代码是我想在远程集群上运行的一个简单的 Flink 作业(没有 jar)。

public static void main(String[] args) throws Exception {
    StreamExecutionEnvironment env = StreamExecutionEnvironment.createRemoteEnvironment("192.168.56.101", 6123);

    DataStream<Tuple2<String, Integer>> dataStream = env
        .socketTextStream("192.168.56.102", 8080)
        .flatMap((String sentence, Collector<Tuple2<String, Integer>> out) ->
            {
                for (String word: sentence.split(" ")) {
                    out.collect(new Tuple2<String, Integer>(word, 1));
                }
            });


    // Alternative approach with an anonymous class
    /*DataStream<Tuple2<String, Integer>> dataStream = env
        .socketTextStream("localhost", 8080)
        .flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
        @Override
        public …
Run Code Online (Sandbox Code Playgroud)

java apache-flink

5
推荐指数
1
解决办法
609
查看次数

标签 统计

apache-flink ×1

java ×1