小编Kev*_* Xu的帖子

嗨,我正在尝试计算两列datetime2类型之间的差异.

但是SQL Server(2012)似乎不喜欢以下内容:

select cast ('2001-01-05 12:35:15.56786' as datetime2)
    - cast ('2001-01-01 23:45:21.12347' as datetime2);

Msg 8117, Level 16, State 1, Line 2
Operand data type datetime2 is invalid for subtract operator.

现在,如果我将其转换为日期时间类型,它会起作用:

select cast (cast ('2001-01-05 12:35:15.56786' as datetime2) as datetime) 
    - cast (cast ('2001-01-01 23:45:21.12348' as datetime2) as datetime);

1900-01-04 12:49:54.443

但是,当我将它转换为datetime时,我正在失去精度(请注意上面的3位小数精度).在这种情况下,我实际上需要全部5个小数点.有没有办法获得两个datetime2列之间的间隔,仍然保持5个小数点的精度？谢谢.

我有一个rmd文件,我有以下内容

```{r code_block, echo=FALSE}
A = matrix(c(1,3,0,1),2,2)
B = matrix(c(5,3,1,4),2,2)
```

$$
\begin{bmatrix} 
1  & 0 \\ 
3 & 1 \\ 
\end{bmatrix}
*
\begin{bmatrix} 
5 & 1 \\ 
3 & 4 \\ 
\end{bmatrix}
$$

现在我想手动硬编码LaTeX部件,而不是使用变量A和B中的矩阵.怎么可以这样做？

谢谢.

我想执行类似于 pandas.io.json.json_normalize 是 pyspark 数据帧的操作。Spark中有类似的功能吗？

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.io.json.json_normalize.html

我使用以下代码遇到 pandas_udf 错误。该代码是根据另一列创建数据类型的列。相同的代码对于正常的较慢的 udf 工作得很好（已注释掉）。

基本上任何比“字符串”+数据更复杂的东西都会返回错误。

# from pyspark.sql.functions import udf
import pyspark.sql.types
from pyspark.sql.functions import pandas_udf, PandasUDFType

@pandas_udf(returnType=pyspark.sql.types.StringType(), functionType=PandasUDFType.SCALAR)
def my_transform (data) -> bytes:
    return_val = str(type(data))
    return return_val

rawdata_df = process_fails.toDF()

# decode_df = rawdata_df.withColumn('new_col', udf_decode(udf_unzip(udf_b64decode(udf_bytes(rawdata_df.rawData)))))
decode_df = rawdata_df.withColumn('new_col', my_transform(rawdata_df.rawData))

decode_df.show()

我收到以下错误：

An error occurred while calling o887.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 23.0 failed 4 times, most recent failure: Lost task 0.3 in stage 23.0 (TID 70, ip-10-213-56-185.ap-southeast-2.compute.internal, executor 10): …