Spark或其他技术中的混合效果模型

Question

是否可以在Spark中运行混合效果回归模型？(正如我们可以在R中使用lme4,或在Julia中使用MixedModels).
任何例子都会很棒.

我读过有一个GLMix函数,但我不知道用户是否可以直接使用它来拟合模型并获得系数和p值,或者它是否只能由机器学习库在内部使用.

我想转向Spark,因为我的数据集比内存大得多.

是否有任何其他通用数据库或框架能够执行类似磁盘流数据的操作？
我只看到一些能够进行简单的线性回归.

问候

Answer 1

是的，这对于 Spark 来说绝对是可能的。

我首先要研究的是一个相当流行的库，称为 ML Lib。我不确定它是否完全符合您需要的模型，但绝对不仅仅是“简单线性回归”。

另一个我不熟悉的库'linkedin/photon-ml'确实明确提到了混合效果模型。

以下是使用通用加法混合效果驱动程序的示例：

spark-submit \
  --class com.linkedin.photon.ml.cli.game.GameTrainingDriver \
  --master local[*] \
  --num-executors 4 \
  --driver-memory 1G \
  --executor-memory 1G \
  "./build/photon-all_2.10/libs/photon-all_2.10-1.0.0.jar" \
  --input-data-directories "./a1a/train/" \
  --validation-data-directories "./a1a/test/" \
  --root-output-directory "out" \
  --feature-shard-configurations "name=globalShard,feature.bags=features" \
  --coordinate-configurations "name=global,feature.shard=globalShard,min.partitions=4,optimizer=LBFGS,tolerance=1.0E-6,max.iter=50,regularization=L2,reg.weights=0.1|1|10|100" \
  --coordinate-update-sequence "global" \
  --coordinate-descent-iterations 1 \
  --training-task "LOGISTIC_REGRESSION"