小编Sha*_*Sha的帖子

部分适合和热启动有什么区别?

背景:

我正在使用来自scikit库的Passive Aggressor,并混淆了是使用暖启动还是部分适合.

迄今为止的努力:

  1. 提到这个帖子讨论:

https://github.com/scikit-learn/scikit-learn/issues/1585

  1. 通过_fit_partial_fit的scikit代码.

我的观察:

  1. _fit反过来打电话_partial_fit.

  2. warm_start设置,_fit调用_partial_fitself.coef_

  3. _partial_fit没有coef_init参数调用并且self.coef_被设置时,它继续使用self.coef_

问题:

我觉得两者最终都提供了相同的功能.那么,它们之间的基本区别是什么?在哪种情况下,使用其中任何一种?

我错过了明显的东西吗?任何帮助表示赞赏!

python machine-learning python-2.7 scikit-learn

13
推荐指数
3
解决办法
1825
查看次数

Spark.shuffle.safetyFraction 和 Spark.storage.safetyFraction 区别

我现在正在研究这篇关于 Apache Spark 架构的文章。

根据描述,有两个安全分数: spark.shuffle.safetyFractionspark.storage.safetyFraction,分别为 JVM 的 0.8 和 0.9。Shuffle 占用spark.shuffle.safetyFraction的 0.2 ,而 storage 占用Spark.storage.safetyFraction的 0.6 。然而,给出的图像具有误导性。(其中一条评论证实了这一点)

我的问题是:

shuffle和存储如何占用JVM相同内存的0.8和0.9?它们是共享的吗?那么,最坏的情况会发生什么呢?

我用谷歌搜索但没有得到任何关于这些的文档。任何帮助表示赞赏!:)

jvm memory-management apache-spark

5
推荐指数
1
解决办法
1409
查看次数