小编YuF*_*hen的帖子

结构化流媒体是实时流处理引擎吗?

我们知道Flink是一个非常实时的流处理引擎,可以在它们到达时处理记录,我们也知道spark spark是一个微批流处理引擎.

不过我们也知道spark发布了结构化流媒体,怎么样呢?它是一个非常实时的流处理引擎,就像Flink一样,它可以在它到达而不是微批处理或仍然使用微批处理模式时立即处理记录?

apache-spark spark-streaming apache-flink

3
推荐指数
1
解决办法
662
查看次数

如何将 flink task 或 Back Pressure 相关指标导出到 prometheus?

我按照Reporter的说明将 flink 指标导出到普罗米修斯,但似乎默认情况下它只将与作业管理器相关的指标导出到普罗米修斯,见下文: 在此处输入图片说明

打开http://localhost:9249/,我只得到以下信息,没有找到与任务或任务管理器相关的指标。

# HELP flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed MemoryUsed (scope: jobmanager_Status_JVM_Memory_Mapped)
# TYPE flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed gauge
flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed{host="localhost",} 0.0
# HELP flink_jobmanager_Status_JVM_ClassLoader_ClassesUnloaded ClassesUnloaded (scope: jobmanager_Status_JVM_ClassLoader)
# TYPE flink_jobmanager_Status_JVM_ClassLoader_ClassesUnloaded gauge
flink_jobmanager_Status_JVM_ClassLoader_ClassesUnloaded{host="localhost",} 0.0
# HELP flink_jobmanager_Status_JVM_GarbageCollector_PS_Scavenge_Time Time (scope: jobmanager_Status_JVM_GarbageCollector_PS_Scavenge)
# TYPE flink_jobmanager_Status_JVM_GarbageCollector_PS_Scavenge_Time gauge
flink_jobmanager_Status_JVM_GarbageCollector_PS_Scavenge_Time{host="localhost",} 273.0
# HELP flink_jobmanager_job_lastCheckpointRestoreTimestamp lastCheckpointRestoreTimestamp (scope: jobmanager_job)
# TYPE flink_jobmanager_job_lastCheckpointRestoreTimestamp gauge
flink_jobmanager_job_lastCheckpointRestoreTimestamp{job_id="dfac65e575f318970e0225eab9688a2e",host="localhost",job_name="Popular_Places_to_Elasticsearch",} -1.0
# HELP flink_jobmanager_job_lastCheckpointAlignmentBuffered lastCheckpointAlignmentBuffered (scope: jobmanager_job)
# TYPE flink_jobmanager_job_lastCheckpointAlignmentBuffered gauge
flink_jobmanager_job_lastCheckpointAlignmentBuffered{job_id="dfac65e575f318970e0225eab9688a2e",host="localhost",job_name="Popular_Places_to_Elasticsearch",} 0.0
# HELP flink_jobmanager_job_lastCheckpointExternalPath lastCheckpointExternalPath (scope: jobmanager_job)
# TYPE flink_jobmanager_job_lastCheckpointExternalPath gauge
flink_jobmanager_job_lastCheckpointExternalPath{job_id="dfac65e575f318970e0225eab9688a2e",host="localhost",job_name="Popular_Places_to_Elasticsearch",} 0.0 …
Run Code Online (Sandbox Code Playgroud)

apache-flink

2
推荐指数
1
解决办法
1174
查看次数

klassoop 和 instanceklass 之间的真正区别是什么?

我看到其中一个被描述为“一个 instanceKlass 是 Java 类的 VM 级别表示”。,另一个是“一个 klassOop 是一个 Java 类的 C++ 等价物。”,那么它们之间有什么区别呢?为什么我们两个都需要,我们可以二合一吗? http://hg.openjdk.java.net/jdk7u/jdk7u60/hotspot/file/ba66650acf63/src/share/vm/oops/instanceKlass.hpp http://hg.openjdk.java.net/jdk7u/jdk7u60/hotspot /file/ba66650acf63/src/share/vm/oops/klassOop.hpp

jvm

1
推荐指数
1
解决办法
856
查看次数

Apache Flink:状态后端在哪里保存状态?

我在下面得到了一个声明:

“根据您的状态后端,Flink 还可以管理应用程序的状态,这意味着 Flink 处理内存管理(如有必要,可能会溢出到磁盘)以允许应用程序保持非常大的状态。”

https://ci.apache.org/projects/flink/flink-docs-master/dev/stream/state/state_backends.html

这是否意味着只有当状态后端配置为 时RocksDBStateBackend,状态才会保留在内存中并可能在必要时溢出到磁盘?

但是,如果配置为MemoryStateBackendFsStateBackend,则状态仅保留在内存中,永远不会溢出到磁盘。

apache-flink flink-streaming

1
推荐指数
1
解决办法
402
查看次数

How to check the jitted Java method parameters from the JVM core dump through assembly code?

I want to get the Assembly code for the jitted code to get the parameters value based on the Java calling convention. Suppose the JVM is hotspot, the platform is Linux 64 bit , and we have the following caller and calle, and I want to check the parameters passed to callee from the JVM core dump.

protected void caller( ) {
callee(1,"123", 123,1);

}

protected void callee(int a,String b, Integer c,Object d) {
 Thread.sleep(11111111);
}
Run Code Online (Sandbox Code Playgroud)

Based on the following …

java gdb jvm

0
推荐指数
1
解决办法
450
查看次数