我们有一个火花流应用程序,这是一个长期运行的任务.事件日志指向hdfs位置hdfs:// spark-history,当我们启动流应用程序和文件大小增长到70GB时,正在创建application_XXX.inprogress文件.要删除日志文件,我们将停止火花串流应用程序并清除它.有没有办法在不停止或重新启动应用程序的情况下自动执行此过程.我们已将spark.history.fs.cleaner.enabled = true配置为清洁间隔为1天,最大年龄为2天.但是它没有清理.inprogress文件.我们正在使用spark 1.6.2版本.我们在纱线上运行火花并以群集模式部署.
我使用的是 solrcloud 6.2 版本，我有两个集合，C1 和 C2。集合 C1 有分片 C1S1、C1S2，集合 C2 有分片 C2S1、C2S2。现在想查询来自不同集合的 C1S1 和 C2S1 分片？有人可以帮我写选择查询吗？谢谢