我在Flink 0.9中开发了一个使用图形模块(Gelly)的工作.作业在IDE(Eclipse)中成功运行,但在使用maven(mvn clean install)将其导出到JAR后,无法在本地flink实例上执行,并出现以下错误
"由于链接失败,无法加载程序的入口点类'myclass'"
java.lang.NoClassDefFoundError: org/apache/flink/graph/GraphAlgorithm
知道为什么会发生这种情况以及如何解决它？
我想将Gelly的文档添加到我的项目中,但它给了我这个错误:
找不到的来源:org.apache.flink:flink-gelly_2.10:1.2-SNAPSHOT
这是在我的pom.xml中
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-gelly_2.10</artifactId>
<version>1.2-SNAPSHOT</version>
</dependency>
我试着找一个不同版本的gelly来解决这个问题,但找不到任何.有没有其他方法来获取文档？
我已经尝试 Flink 流有一段时间了，使用像 Yahoo 流基准这样的基准： https: //github.com/yahoo/streaming-benchmarks应该会给系统带来压力，但我从未达到令人满意的 CPU 利用率 - 在事实上，使用所有可用的系统核心（并行度 = 节点*核心）和每个核心一个 TaskManager 插槽时，其效率主要低至约 25%。
最近，我开始使用 Gelly，Flink 的图形 API，使用一些提供的示例算法（例如 Pagerank），批量处理从数万到数亿个顶点的数据集。
我占用了四个任务管理器，每个任务管理器有 32 个核心，并且按照我设置的文档taskmanager.numberOfTaskSlots: 32和parallelism.default: 128.
即使我增加这些值，平均 CPU 利用率也不会超过 40%。因此，由于我的资源没有得到充分利用，我的绩效很低。
我还想指出这样一个事实：在某些情况下，我注意到较低的并行级别（和 CPU 利用率）具有更好的性能。
我缺少什么？