小编jgp*_*jgp的帖子

声明给了我日期和时间.

我怎样才能修改语句,使其仅返回日期？

SELECT to_timestamp( TRUNC( CAST( epoch_ms AS bigint ) / 1000 ) );

我正在尝试使用Maven和GWT 2.7.0.有没有人有一个小的pom.xml模板？

我特别关注clean/install/running(我在之前的项目中使用gwt:run)...

我正在尝试使用数组注册一个类(使用Kryo激活的Spark Java),日志显示一条​​明确的消息:

Class is not registered: org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[]

我写了几个组合,但这些组合不起作用:

        kryo.register(Class.forName("org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[]")); // ERROR
        kryo.register(Class.forName("org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[].class")); // ERROR
        kryo.register(Class.forName("org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation$Array")); // ERROR
        kryo.register(Class.forName("[org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation")); // ERROR
        kryo.register(Class.forName("[Lorg.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation")); // ERROR
        kryo.register(Class.forName("Array[org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation]")); // ERROR
        kryo.register(Class.forName("[[org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation"));  // ERROR

我也尝试编写注册类,Class.forName但Java无法解析符号InMemoryFileIndex$SerializableBlockLocation:

kryo.register(org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[].class);

所有其他类都在我的KryoRegister.class中工作.

我目前使用 spaCy 来遍历依赖树并生成实体。

nlp = get_spacy_model(detect_lang(unicode_text))
doc = nlp(unicode_text)

entities = set()
for sentence in doc.sents:

  # traverse tree picking up entities
  for token in sentence.subtree:
    ## pick entitites using some pre-defined rules

entities.discard('')
return entities

spaCy 有什么好的 Java 替代品吗？

我正在寻找像 spaCy 那样生成依赖树的库。

编辑：

我研究了斯坦福解析器。但是，它生成了以下解析树：

                     ROOT
                      |
                      NP
       _______________|_________
      |                         NP
      |                _________|___
      |               |             PP
      |               |     ________|___
      NP              NP   |            NP
  ____|__________     |    |     _______|____
 DT   JJ    JJ   NN  NNS   IN   DT      JJ   NN
 |    |     |    | …

给定以下数据集：

| title | start | end
| bla   | 10    | 30

我想找到两个数字之间的差异（开始 - 结束）并将它们设置为一个新列，使其看起来像：

| title | time_spent |
 | bla   | 20 |

数据的类型是Dataset<Row>
dataset = dataset.withColumn("millis spent: ", col("end") - col("start")).as("Time spent");
我希望它可以工作的类型，正如我在这个问题中看到的那样，但它确实如此，也许是因为该线程是关于 DataFrames 而不是 DataSets，或者也许是因为 Scala 允许它在 Java 中是非法的？

有没有办法在 sql spark 中按表分组，它选择我正在使用的多个元素代码：

val df = spark.read.json("//path")
df.createOrReplaceTempView("GETBYID")

现在按如下方式分组：

val sqlDF = spark.sql(
  "SELECT count(customerId) FROM GETBYID group by customerId");

但是当我尝试：

val sqlDF = spark.sql(
  "SELECT count(customerId),customerId,userId FROM GETBYID group by customerId");

Spark给出一个错误：

org.apache.spark.sql.AnalysisException: 表达式 'getbyid. userId' 既不存在于 group by 中，也不是聚合函数。如果您不关心获得的值，请添加到 group by 或包装在 first() （或 first_value）中。

有没有办法做到这一点

在 Apache Spark 中，这些 API 之间有什么区别？为什么以及何时我们应该选择其中之一而不是其他？

我试图找到一些最佳实践来命名Java包进行测试.我会一直在思考:

测试:

com.example.MyClass

应该是:

com.example.test.MyClassTest

在GWT中,我的代码:

rootPanel.add(new Label("© " + "2014" + " MyCorp"));

显示得很好:

© 2014 MyCorp

代替

© 2014 MyCorp

任何提示？

我需要将时间戳记值转换为SELECT查询中的纪元。请找到以下示例表和预期结果。

样表：

select * from log;

select * from log;

预期结果：

id        | 3
time      | 2016-03-30 18:44:19.189513
data1     | NONE
data3     | NONE
data4     | NONE

日志表的行数为n。请找到以下版本详细信息：

id        | 3
time      | 1459343659
data1     | NONE
data3     | NONE
data4     | NONE

我在 Java 中使用 Apache Spark 1.6.2。

我有一个包含以下内容的数据帧：

• 创建日期字段中的日期，
• close_date 字段中的结束日期。

如果业务未关闭，则 close_date 中的值为 null。

我想要：

• 向我的 DataFrame 添加一个名为 last_date_business 的额外列
• 用 close_date 的值填充它
• 如果 close_date 为空，则使用 current_date()

我可以让 Spark 来做还是应该手动做？