小编leo*_*o9r的帖子

Android中的对话框和弹出窗口

http://developer.android.com/design/building-blocks/dialogs.html中的Android设计文档明确区分了对话框,警报,弹出窗口和Toast.它还建议通过类和Toasts通过类来实现Dialogs.但是,我不清楚是否应该使用或使用弹出窗口.DialogFragmentToastPopupWindowDialogFragment

我知道DialogFragments通常带有Ok/Cancel按钮,并且PopupWindows可以定义位置,但是:

android popup popupwindow dialogfragment

12
推荐指数
1
解决办法
4255
查看次数

如何在Spark SQL中加入大数据帧?(最佳实践,稳定性,性能)

在Spark SQL中加入大数据帧时,我得到的错误与丢失输出位置的shuffle相同.建议设置MEMORY_AND_DISK和/或spark.shuffle.memoryFraction 0.但是,在Spark> = 1.6.0中不推荐使用spark.shuffle.memoryFraction,如果我没有缓存任何RDD或Dataframe,设置MEMORY_AND_DISK应该没有帮助,对吧?此外,我正在获得许多其他WARN日志和任务重试,这使我认为工作不稳定.

因此,我的问题是:

  • 在Spark SQL> = 1.6.0中加入大型数据帧的最佳实践是什么?

更具体的问题是:

  • 如何调整执行程序的数量spark.sql.shuffle.partitions以实现更好的稳定性/性能?
  • 如何在并行级别(执行程序/核心数量)和分区数量之间找到适当的平衡点?我发现增加执行程序的数量并不总是解决方案,因为它可能会因网络流量而产生I/O读取超时异常.
  • 是否还有其他相关参数需要针对此目的进行调整?
  • 我的理解是,加入存储为ORCParquet的数据可以提供比文本或Avro更好的连接操作性能.Parquet和ORC之间有显着差异吗?
  • SQLContextHiveContext有关于连接操作的稳定性/性能的优势吗?
  • 当连接中涉及的数据帧先前是registerTempTable()saveAsTable()时,性能/稳定性是否存在差异?

到目前为止,我正在使用这个答案本章作为起点.还有一些与此主题相关的stackoverflow页面.然而,我还没有找到这个热门问题的全面答案.

提前致谢.

performance join apache-spark apache-spark-sql spark-dataframe

11
推荐指数
1
解决办法
4242
查看次数