小编too*_*lik的帖子

我在本地机器上运行scala,版本2.0.

val schema = StructType(schemaString.split("|^").map(fieldName =>StructField(fieldName, StringType, true)))
<console>:45: error: not found: value StructType
   val schema = StructType(schemaString.split("|^").map(fieldName =>StructField(fieldName, StringType, true)))
                ^
<console>:45: error: not found: value StructField
   val schema = StructType(schemaString.split("|^").map(fieldName => StructField(fieldName, StringType, true)))
                                                                     ^
<console>:45: error: not found: value StringType
   val schema = StructType(schemaString.split("|^").map(fieldName => StructField(fieldName, StringType, true)))
                                                                                            ^

我加载了导入org.apache.spark.sql._但仍然收到此错误.我错过任何包裹吗？

我需要当前的年,月和日期到3个不同的变量.下面的代码给出了日期时间

val now = Calendar.getInstance().getTime()

Thu Sep 29 18:27:38 IST 2016

但我需要YYYY MM和DD格式

我正在查询 mysql 表

val url = "jdbc:mysql://XXX-XX-XXX-XX-XX.compute-1.amazonaws.com:3306/pg_partner"
val driver = "com.mysql.jdbc.Driver"
val username = "XXX"
val password = "XXX"
var connection:Connection = DriverManager.getConnection(url, username, password)
val statement = connection.createStatement()
val patnerName = statement.executeQuery("SELECT id,name FROM partner")

我确实得到了结果，patnerName但我需要转换为数据框。

我可以通过以下代码打印数据：

while (patnerName.next) {
  val id = patnerName.getString("id")
  val name = patnerName.getString("name")
  println("id = %s, name = %s".format(id,name))
}

现在我如何转换patnerName为 DataFrame？

grepl("instance|percentage", labelTest$Text)

如果存在instance或中的任何一个，将返回true percentage。

仅当同时存在这两个术语时，我才能如何实现。

我有以下格式的数据框：

|u_name|Date        |Hour |  Content_id|WatchTime(sec)   |
|user1 | 2019-07-28 |  21 |        100 |           10800 |
|user2 | 2019-07-28 |  20 |        101 |            3600 | 
|user3 | 2019-07-28 |  21 |        202 |            7000 | 

我需要将此数据帧转换为以下数据，基本上，我需要每小时创建一个条目，因此，如果WatchTime(sec)超过3600秒，则需要在下一个小时创建一个新条目

|u_name|Date        |Hour |  Content_id|WatchTime(sec)   |
|user1 | 2019-07-28 |  21 |        100 |            3600 |
|user1 | 2019-07-28 |  22 |        100 |            3600 |
|user1 | 2019-07-28 |  23 |        100 |            3600 |
|user2 | 2019-07-28 |  20 | …

当我将Dataframe保存到文本文件时,它会被保存,[] 例如我有一个数据框:

9206E599-2E07-439E-9C01-A6714E779D11
D607E87F-FB90-4F2B-8A99-335AE4F5C97F

当myDataFrame.rdd.saveAsTextFile("My Path")我得到的时候

[9206E599-2E07-439E-9C01-A6714E779D11]
[D607E87F-FB90-4F2B-8A99-335AE4F5C97F]

有没有办法删除这些括号.