小编Dar*_*oth的帖子

Hive:快速将两个表连接成一个表?

我有两个相同结构(架构)的Hive表.什么是有效的SQL请求将它们连接到具有相同结构的单个表?

更新,这在我的情况下非常快:

CREATE TABLE xy AS SELECT*FROM(SELECT*
FROM x UNION ALL
SELECT*
FROM y)tmp;

hadoop hive concatenation

7
推荐指数
1
解决办法
2万
查看次数

级联:Impatient,Part1:Gradle构建的Java教程失败

在CentOS 6.5上构建教程的第1部分时,java版本"1.7.0_51"我得到了Gradle错误:

您无法更改配置'providedCompile',因为它已经解决了!

[localhost part1] $ gradle clean jar

FAILURE:构建因异常而失败.

  • 其中:构建文件'/home/test/wks/Cascading/Java/Impatient/part1/build.gradle'行:43

  • 出了什么问题:评估项目':part1'时出现问题.

    您无法更改配置'providedCompile',因为它已经解决了!

  • 尝试:使用--stacktrace选项运行以获取堆栈跟踪.使用--info或--debug选项运行以获取更多日志输出.

建筑失败

可能有什么不对?谢谢!

cascading build.gradle

6
推荐指数
1
解决办法
1628
查看次数

如何在sbt项目中声明对Scalding的依赖?

我试图弄清楚如何build.sbt为我自己的基于Scalding的项目创建一个文件.

烫金源结构没有build.sbt文件.相反,它有project/Build.scala构建定义.

将我自己的sbt项目与Scalding集成的正确方法是什么,所以我也可以稍后在Eclipse中使用sbt-eclipse插件导入它?

更新:

对于以下代码:

import cascading.tuple.Fields
import com.twitter.scalding._

class Scan(args: Args) extends Job(args) {
  val output = TextLine("tmp/out.txt")

  val wordsList = List(
    ("john"),
    ("liza"),
    ("nina"),
    ("x"))

  val orderedPipe =
    IterableSource[(String)](wordsList, ('word))
      .debug
      .write(output)
}
Run Code Online (Sandbox Code Playgroud)

有了这个build.sbt:

name := "Scan"

version := "1.0"

libraryDependencies := Seq("com.twitter" %% "scalding" % "0.11.1")
Run Code Online (Sandbox Code Playgroud)

我收到错误:

$ sbt
[info] Loading global plugins from /home/test/.sbt/0.13/plugins
[info] Set current project to Scan (in build file:/home/test/Cascading/Scala/Scan/)
> …
Run Code Online (Sandbox Code Playgroud)

eclipse scala sbt scalding

3
推荐指数
1
解决办法
1497
查看次数

Scala:匹配特殊字符

在Scala中,我需要测试一个字符串是否包含以下任何"特殊"字符: !@#\$^%&*()_-\+={}[]|;:"'<,>.?/

我不能简单地使用'nonword' "\\W"正则表达式,因为字符串可能具有正则表达式"\\W"匹配的西里尔字符.试图使用正则表达式:

new Regex("""~`!@#\$^%&*()_-\+={}[]|;:"'<,>.?/""")
Run Code Online (Sandbox Code Playgroud)

结果例外:

 java.util.regex.PatternSyntaxException: Illegal repetition near index 17 ~`!@#\$^%&*()_-\+={}[]|;:"'<,>.?/
                                                                                           ^
at java.util.regex.Pattern.error(Pattern.java:1924)
at java.util.regex.Pattern.closure(Pattern.java:3104)
at java.util.regex.Pattern.sequence(Pattern.java:2101)
Run Code Online (Sandbox Code Playgroud)

有任何想法吗?

regex scala

2
推荐指数
1
解决办法
5758
查看次数

Scala:比较巨大列表中的所有元素

请提供有关算法和实现的建议,以便比较Scala中很长列表中的元素.我有一个包含数千个字符串的列表(来自SQL),我需要将每个列表元素与此列表中的所有其他元素进行比较.

因此,我需要获取元组列表:List[(String, String, Boolean)]前两个元素是匹配的字符串,第三个是结果.

对于N个元素的列表,我的算法到目前为止如下:

  1. 以列表为首
  2. 将头部与列表中剩余的N-1个元素进行比较
  3. 从旧列表的尾部创建新列表,并使用这个新的N-1元素列表完成上述所有工作:

码:

   /**
   * Compare head of the list with each remaining element in this list
   */
  def cmpel(
    fst: String, lst: List[String],
    result: List[(String, String, Boolean)]): List[(String, String, Boolean)] = {

    lst match {
      case next :: tail => cmpel(fst, tail, (fst, next, fst == next) :: result)
      case nill => result.reverse
    }
  }

  /**
   * Compare list elements in all combinations of two
   */
  def cmpAll(lst: List[String],
    result: List[(String, …
Run Code Online (Sandbox Code Playgroud)

algorithm scala list

0
推荐指数
1
解决办法
1567
查看次数