小编Pau*_*ers的帖子

Spark LinearRegressionSummary"正常"摘要

根据LinearRegressionSummary(Spark 2.1.0 JavaDoc),p值仅适用于"普通"求解器.

该值仅在使用"普通"求解器时可用.

到底是什么"正常"解算器?

我这样做:

import org.apache.spark.ml.{Pipeline, PipelineModel} 
import org.apache.spark.ml.evaluation.RegressionEvaluator 
import org.apache.spark.ml.feature.VectorAssembler 
import org.apache.spark.ml.regression.LinearRegressionModel 
import org.apache.spark.ml.tuning.{CrossValidator, CrossValidatorModel, ParamGridBuilder} 
import org.apache.spark.sql.functions._ 
import org.apache.spark.sql.{DataFrame, SparkSession}
    .
    .
    .
val (trainingData, testData): (DataFrame, DataFrame) = 
  com.acme.pta.accuracy.Util.splitData(output, testProportion)
    .
    .
    .
val lr = 
  new org.apache.spark.ml.regression.LinearRegression()
  .setSolver("normal").setMaxIter(maxIter)

val pipeline = new Pipeline()
  .setStages(Array(lr))

val paramGrid = new ParamGridBuilder()
  .addGrid(lr.elasticNetParam, Array(0.2, 0.4, 0.8, 0.9))
  .addGrid(lr.regParam, Array(0,6, 0.3, 0.1, 0.01))
  .build()

val cv = new CrossValidator()
  .setEstimator(pipeline)
  .setEvaluator(evaluator)
  .setEstimatorParamMaps(paramGrid)
  .setNumFolds(numFolds) // Use 3+ …
Run Code Online (Sandbox Code Playgroud)

apache-spark-mllib

9
推荐指数
1
解决办法
1834
查看次数

带索引的爆炸列

我知道我可以像这样“分解”一列数组类型:

import org.apache.spark.sql._
import org.apache.spark.sql.functions.explode
val explodedDf = 
    payloadLegsDf.withColumn("legs", explode(payloadLegsDf.col("legs")))
Run Code Online (Sandbox Code Playgroud)

现在我有多行;数组中的每个项目一个。

有没有办法可以“用索引爆炸”?这样会有一个新列包含原始数组中项目的索引吗?

(我可以想到 hacks 来做到这一点。首先将数组字段变成原始值和索引的元组数组。然后进行爆炸。然后解压元组。但是有没有更优雅的方法?)

scala apache-spark-sql

9
推荐指数
1
解决办法
2903
查看次数

不明确的列名称错误

在Microsoft SQL Server 2000上执行以下(完整)SQL查询时:

SELECT B.ARTIFACTTNS, B.ARTIFACTNAME, B.ARTIFACTTYPE, B.INITIALBYTES, B.TIMESTAMP1, B.FILENAME, B.BACKINGCLASS, 
       B.CHARENCODING, B.APPNAME, B.COMPONENTTNS, B.COMPONENTNAME, B.SCAMODULENAME, B.SCACOMPONENTNAME 
FROM (SELECT DISTINCT A.ARTIFACTTYPE, A.ARTIFACTTNS, A.ARTIFACTNAME 
      FROM (SELECT DISTINCT ARTIFACTTYPE, ARTIFACTTNS, ARTIFACTNAME 
            FROM CUSTPROPERTIES WHERE PNAME = 'AcmeSystemName' AND PVALUE = 'MyRuleGroup' 
                  UNION SELECT DISTINCT ARTIFACTTYPE, ARTIFACTTNS, ARTIFACTNAME 
                          FROM CUSTPROPERTIES WHERE PNAME = 'AcmeSystemDisplayName' AND PVALUE = 'MyRuleGroup') A, 
           (SELECT DISTINCT ARTIFACTTYPE, ARTIFACTTNS, ARTIFACTNAME 
            FROM CUSTPROPERTIES WHERE PNAME = 'AcmeSystemTargetNameSpace' AND PVALUE = 'http://MyModule') B 
WHERE A.ARTIFACTTYPE = B.ARTIFACTTYPE AND A.ARTIFACTTNS = …
Run Code Online (Sandbox Code Playgroud)

sql sqlexception

8
推荐指数
1
解决办法
5万
查看次数

将字符串转换为Scheme中的代码

如何将字符串转换为PLT Scheme中的相应代码(不包含该string->input-port方法)?例如,我想转换此字符串:

"(1 (0) 1 (0) 0)"
Run Code Online (Sandbox Code Playgroud)

进入这个清单:

'(1 (0) 1 (0) 0)
Run Code Online (Sandbox Code Playgroud)

是否可以在不打开文件的情况下执行此操作?

lisp scheme

8
推荐指数
2
解决办法
4775
查看次数

涉及{}的C代码

我在一些C代码中看到了这个:

Wininfo W = { sizeof(Wininfo) };
Run Code Online (Sandbox Code Playgroud)

这到底意味着什么?

c curly-braces static-initializer

8
推荐指数
3
解决办法
1061
查看次数

什么是"计算机程序的结构和解释"的封面图?

计算机程序结构和解释究竟是什么?我的意思是我知道什么是"eval","apply"和'λ'都意味着,但我很难解读剩下的图片.

谁是少女?她为巫师工作吗?为什么她指着桌子?她指着那个小碗型的东西吗?还是书?还是一般的表?她是否试图告诉巫师他应该将某种Lisp巫术应用于桌子或其上的物品?或者她只是告诉他一些平淡无奇的东西,比如他的食物变冷了?

那桌子上的一条腿看起来像......一条腿......最后一只脚(腿往往有)?桌子如何在一条腿上保持平衡?(或者是阴影中的另一条腿?)

[注意:我正在等待一个冗长的构建完成,以防你想知道.]

lisp scheme sicp

8
推荐指数
1
解决办法
1692
查看次数

RGB用于颜色组合而不是主色调

为什么计算机使用RGB(红色,绿色和蓝色)值来表示颜色,而不是主色调,红色,黄色和蓝色?

graphics rgb colors

7
推荐指数
2
解决办法
4228
查看次数

使用插入顺序作为顺序实现java.util.Map

有关java.util.Map的JDK文档说明

地图的顺序定义为地图集合视图上的迭代器返回其元素的顺序.一些地图实现,比如TreeMap类,对它们的顺序做出了特定的保证; 其他人,比如HashMap类,没有.

TreeMap上的文档说明:

地图根据其键的自然顺序进行排序,或者根据使用的构造函数在地图创建时提供的比较器进行排序.

是否有任何Map的JDK实现使用元素作为顺序插入到地图中的顺序?

java map

7
推荐指数
1
解决办法
1996
查看次数

禁用空格键触发单击JButton

JButtons考虑按空格键与单击JButton相同(假设JButton具有焦点,我在这里假设).有没有办法关闭这种行为,所以他们忽略按空格键?

另外,更一般地说,是否有一种技术可以做到这一点AbstractButtons

java swing jbutton

7
推荐指数
1
解决办法
2471
查看次数

Java到XSD或XSD到Java

我知道,使用JAXB,您可以从XSD生成Java文件,并且您还可以从带注释的POJO生成XSD.各有哪些优缺点?一个整体比另一个好吗?

我们基本上希望将事件序列化为XML格式的日志.

java xsd jaxb pojo

7
推荐指数
1
解决办法
1万
查看次数