我想知道是否可以使用代码从笔记本运行 Databricks 作业,以及如何执行
我有一个包含多个任务和许多贡献者的作业,并且我们创建了一个作业来执行这一切,现在我们希望从笔记本运行该作业来测试新功能,而无需在作业中创建新任务,也可以运行循环执行多次作业,例如:
for i in [1,2,3]:
run job with parameter i
Run Code Online (Sandbox Code Playgroud)
问候
我想知道使用 Spark 函数的逻辑回归模型的每个系数的显着性ml_logistic_regression。代码如下:
# data in R
library(MASS)
data(birthwt)
str(birthwt)
detach("package:MASS", unload=TRUE)
# Connection to Spark
library(sparklyr)
library(dplyr)
sc = spark_connect(master = "local")
# copy the data to Spark
birth_sc = copy_to(sc, birthwt, "birth_sc", overwrite = TRUE)
# Model
# create dummy variables for race (race_1, race_2, race_3)
birth_sc = ml_create_dummy_variables(birth_sc, "race")
model = ml_logistic_regression(birth_sc, low ~ lwt + race_2 + race_3)
Run Code Online (Sandbox Code Playgroud)
我得到的模型如下:
> model
Call: low ~ lwt + race_2 + race_3
Coefficients:
(Intercept) lwt race_2 race_3 …Run Code Online (Sandbox Code Playgroud) 我正在使用sm.Logit在 python 中进行逻辑回归,然后获取模型、p 值等是函数.summary ,我想存储.summary函数的结果,到目前为止我有:
我仍然需要获取std err、z和p 值
我还想知道是否有办法得到这个(.summary函数的第一部分):
python machine-learning python-3.x statsmodels logistic-regression
python-3.x ×2
apache-spark ×1
databricks ×1
jobs ×1
python ×1
r ×1
scala ×1
sparklyr ×1
statsmodels ×1