我需要获取从 10^-10 到 10^10 的 100 个值的随机序列,并Array使用 Scala存储到一个。我尝试跟随,但没有用
Array(scala.math.pow(10,-10).doubleValue to scala.math.pow(10,10).intValue by scala.math.pow(10,5).toLong)
Run Code Online (Sandbox Code Playgroud)
谁能帮我弄清楚如何正确地做到这一点?
我在 Spark Scala 中有两个数据帧,其中每个数据帧的第二列是一个数字数组
val data22= Seq((1,List(0.693147,0.6931471)),(2,List(0.69314, 0.0)),(3,List(0.0, 0.693147))).toDF("ID","tf_idf")
data22.show(truncate=false)
+---+---------------------+
|ID |tf_idf |
+---+---------------------+
|1 |[0.693, 0.702] |
|2 |[0.69314, 0.0] |
|3 |[0.0, 0.693147] |
+---+---------------------+
val data12= Seq((1,List(0.69314,0.6931471))).toDF("ID","tf_idf")
data12.show(truncate=false)
+---+--------------------+
|ID |tf_idf |
+---+--------------------+
|1 |[0.693, 0.805] |
+---+--------------------+
Run Code Online (Sandbox Code Playgroud)
我需要在这两个数据框中的行之间执行点积。这就是我需要乘以tf_idf阵列中data12与每一行tf_idf中data22。
(例如:点积的第一行应该是这样的:0.693*0.693 + 0.702*0.805
第二行:0.69314*0.693 + 0.0*0.805
第三行:0.0*0.693 + 0.693147*0.805)
基本上我想要一些东西(比如矩阵乘法)data22*transpose(data12)
如果有人能建议一种在 Spark Scala 中做到这一点的方法,我将不胜感激。
谢谢