pyspark的“介于”功能不包含在时间戳输入中。
例如,如果我们想要两个日期之间的所有行,例如“ 2017-04-13”和“ 2017-04-14”,那么当日期作为字符串传递时,它将执行“排他”搜索。即,它省略了“ 2017-04-14 00:00:00”字段
但是,该文档似乎暗示它具有包容性(尽管在时间戳上没有引用)
当然,一种方法是从上限添加一个微秒,并将其传递给函数。但是,不是一个很好的解决方案。进行包含式搜索的任何干净方法?
例:
import pandas as pd
from pyspark.sql import functions as F
... sql_context creation ...
test_pd=pd.DataFrame([{"start":'2017-04-13 12:00:00', "value":1.0},{"start":'2017-04-14 00:00:00', "value":1.1}])
test_df = sql_context.createDataFrame(test_pd).withColumn("start", F.col("start").cast('timestamp'))
test_df.show()
+--------------------+-----+
| start|value|
+--------------------+-----+
|2017-04-13 12:00:...| 1.0|
|2017-04-14 00:00:...| 1.1|
+--------------------+-----+
test_df.filter(F.col("start").between('2017-04-13','2017-04-14')).show()
+--------------------+-----+
| start|value|
+--------------------+-----+
|2017-04-13 12:00:...| 1.0|
+--------------------+-----+
Run Code Online (Sandbox Code Playgroud) 我正在尝试使用一个lambda方法或字符串的联合类型的属性.
class TestClass {
name: string | () => string;
}
Run Code Online (Sandbox Code Playgroud)
可在此处访问非工作TS游乐场样本
但是TS编译器给出了一个错误:"[ts]成员'字符串'隐式具有'任意'类型."
类型声明不正确吗?或者有解决方法吗?
我需要检查字符串是否是十六进制。我学到了两种方法 -
1.) 循环每个字符
all(c in string.hexdigits for c in s) # Straight forward with no optimizations
Run Code Online (Sandbox Code Playgroud)
2.) 使用int ()函数检查是否有错误
try:
int(s, 16)
return True
except ValueError:
return False
Run Code Online (Sandbox Code Playgroud)
在第一种情况下,我知道复杂度是 O(n)。但是第二个呢?那里的时间复杂度是多少?