小编jay*_*y s的帖子

在jupyter文本编辑器中打开.sql文件

我正在使用jupyter服务器,由于某种原因,我打开的任何.sql都会下载,而不是在文本编辑器中打开。据我所知,只有.sql文件以这种方式处理,其他任何文件扩展名都由文本编辑器打开。将文件扩展名从.sql更改为其他任何文件都可以解决该问题,但是我想保留文件扩展名以在jupyter和其他文本编辑器中突出显示语法。是否有配置文件可以控制默认文件打开操作?

我正在使用 在chrome和firefox中观察到的jupyter 1.0.0
Ubuntu 16.04(服务器和客户端)
行为

更新:
它看起来与此问题有关https://github.com/jupyter/notebook/issues/1408
还将笔记本包升级到5.0.0时,在选项上添加了一个编辑按钮,从而有效地解决了该问题。但是潜在的问题仍然存在,通过检查.sql链接,您可以看到它仍然是文件链接而不是编辑链接。

升级笔记本使用 conda update notebook

jupyter

5
推荐指数
1
解决办法
595
查看次数

scala spark中的值和列操作,如何使用带有spark列的运算符左侧的值?

我正在尝试使用 Columns 和 Doubles 执行一些基本操作,但如果不创建 UDF,我无法弄清楚如何执行此操作。

scala> import org.apache.spark.sql.functions.col
scala> import spark.implicits._

scala> val df = Seq(("A", 1), ("B", 2), ("C", 3)).toDF("col1", "col2")
df: org.apache.spark.sql.DataFrame = [col1: string, col2: int]
Run Code Online (Sandbox Code Playgroud)

我想找到 col2 的倒数,我认为这样做会是这样的:

scala> df.withColumn("col3", 1/col("col2")).show
Run Code Online (Sandbox Code Playgroud)

但这给出了这个错误:

<console>:30: error: overloaded method value / with alternatives:
  (x: Double)Double <and>
  (x: Float)Float <and>
  (x: Long)Long <and>
  (x: Int)Int <and>
  (x: Char)Int <and>
  (x: Short)Int <and>
  (x: Byte)Int
 cannot be applied to (org.apache.spark.sql.Column)
       df.withColumn("col3", 1/col("col2")).show
Run Code Online (Sandbox Code Playgroud)

基本上是说你不能用左边的 Double 和右边的 Column 来执行除法(或任何其他运算符)。我能够弄清楚如何做到这一点的唯一方法是创建一个 UDF 并像这样应用它:

scala> …
Run Code Online (Sandbox Code Playgroud)

scala apache-spark

3
推荐指数
1
解决办法
1956
查看次数

标签 统计

apache-spark ×1

jupyter ×1

scala ×1