小编iku*_*iku的帖子

用maven编译Spark的问题

我正在尝试使用maven 3.2.2,scala 2.10.4,java 1.8.0_05编译Spark 1.2.0,我得到的是:

[INFO] Reactor Summary:
[INFO] 
[INFO] Spark Project Parent POM ........................... SUCCESS [  3.513 s]
[INFO] Spark Project Networking ........................... SUCCESS [  8.909 s]
[INFO] Spark Project Shuffle Streaming Service ............ SUCCESS [  6.625 s]
[INFO] Spark Project Core ................................. FAILURE [01:06 min]
[INFO] Spark Project Bagel ................................ SKIPPED
[INFO] Spark Project GraphX ............................... SKIPPED
[INFO] Spark Project Streaming ............................ SKIPPED
[INFO] Spark Project Catalyst ............................. SKIPPED
[INFO] Spark Project SQL .................................. SKIPPED
[INFO] Spark Project …
Run Code Online (Sandbox Code Playgroud)

maven apache-spark

17
推荐指数
2
解决办法
1万
查看次数

为什么无状态bean被视为伪范围并且不能具有循环依赖性?

使用Wildfly 8.1我有几个bean,我尝试将几个EJB互相注入.可以说我有3个豆子:

@Stateless 
public class A{
  @Inject
  private B b;
}

@Stateless 
public class B{
  @Inject
  private C c;
}

@Stateless 
public class C{
  @Inject
  private A a;
}
Run Code Online (Sandbox Code Playgroud)

显然,我有循环依赖.根据规格:

容器需要支持bean依赖关系图中的循环,其中参与每个循环依赖关系的至少一个bean具有正常范围

在容器中的代码上运行会导致表单错误:

org.jboss.weld.exceptions.DeploymentException:WELD-001443:伪范围bean具有循环依赖关系.依赖路径:

-Session bean [带有限定符的A类[@Default @Any]; 本地接口是[A] BackedAnnotatedField] @Inject private B,

[..]

我的问题是:@Stateless bean的范围是什么?它默认是@Dependent吗?最重要的是我如何在无状态会话bean之间启用循环依赖?

对不起,如果这个问题太琐碎了.我将非常感谢任何可以解释所呈现行为的进一步阅读资源.提前致谢.

更新 好了.我找到了解决方法.我使用@EJB注释而不是@Inject,但这并没有解释@Inject的奇怪行为.这个问题仍未解决,但正如Mika所说,CDI规范和Weld RI都可能是未解决的问题.

ejb java-ee cdi ejb-3.0 wildfly

7
推荐指数
1
解决办法
5281
查看次数

git clone 和 pull 忽略大文件

这是情况。临时分析存储库,每个单独的分析都有一个目录。每个目录都包含一个与一个或多个数据文件相连的脚本,这些数据文件具有不同的格式和不同的(有时相当大)大小。没有数据的脚本通常是无用的,所以我们想存储数据文件。另一方面,有时查看脚本而不被迫下载相关数据文件(以确定某些分析是如何进行的)很有用。

我们绝对不想将数据存储在单独的存储库中(运行时问题、将脚本与数据文件相关联等)

分析了什么:

  • git submodules - 分离的 repo,一切都将远离脚本(不在同一个目录中,所以随着时间的推移它会变得混乱)
  • git hooks - 旨在为推送请求应用约束或附加操作,如上所述 - 每个人都应该能够上传任何文件(此外:我们无权应用服务器端挂钩)

我想到的想法是,从存储库中提取或克隆某些位置或某些文件(即 >> 50 MB)会很方便。只是不要传输不需要的数据。是否可以?

如果某些文件在后续提交中没有被触及,从未来推送的角度来看它们是不必要的。可能(甚至可以肯定)我对 git 的底层机制缺乏一定的了解。我将不胜感激。

git

6
推荐指数
2
解决办法
4100
查看次数

在intellij中运行spark想法HttpServletResponse - ClassNotFoundException

我尝试从Intellij Idea内部使用Scala运行Spark:

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "/home/kamil/Apps/spark-1.2.1-bin/README.md" // Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local[4]")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  }
}
Run Code Online (Sandbox Code Playgroud)

在spark-submit中运行它可以正常工作.从IDE运行它会导致以下错误:

Exception in thread "main" java.lang.NoClassDefFoundError: javax/servlet/http/HttpServletResponse
    at org.apache.spark.HttpServer.org$apache$spark$HttpServer$$doStart(HttpServer.scala:74)
    at org.apache.spark.HttpServer$$anonfun$1.apply(HttpServer.scala:61)
    at org.apache.spark.HttpServer$$anonfun$1.apply(HttpServer.scala:61)
    at org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:1765)
    at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:141)
    at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:1756)
    at …
Run Code Online (Sandbox Code Playgroud)

scala intellij-idea apache-spark

4
推荐指数
1
解决办法
3217
查看次数

将@Transactional与EJB结合使用

@Transactional与EJB 结合使用是否可以?使用@TransactionAttribute之间有什么区别吗?

我在这里找到了@Transactional和@TransactionAttribute之间的区别 @Transactional用于POJO.我在Wildfly中意外地将它用于EJB,并且没有错误.我想知道行为是否相同或者是否存在一些差异.或者@Transactional可能会被忽略,并且会使用@TransactionAttribute的默认级别?我在规范中搜索但没有发现任何帮助.

编辑:

正如@kostja所说,不清楚提到的框架问题是什么.我的意思是来自CDI的@Transactional,而不是Spring.

ejb java-ee cdi

3
推荐指数
1
解决办法
647
查看次数

@Dependent范围在Wildfly中不是默认的吗?

我在使用Wildfly通过@Inject注入POJO时遇到了一些麻烦.文件明确指出:

@Dependent - 如果未指定,则为默认范围; 这意味着一个对象只存在一个客户端(bean),并且与该客户端(bean)具有相同的生命周期.

但是,当我有两个班级时:

@Singleton
@Startup
public class A{
    @Inject
    private B b;
}

public class B{
    public B(){}
}
Run Code Online (Sandbox Code Playgroud)

我一直在:

注入点上带有限定符@Default的类型B的不满意依赖[BackedAnnotatedField] @Inject [...]

当我添加@Dependent时,一切都像魅力一样.我错过了什么吗?这种行为是野生蝇特有的吗?希望你能帮忙,谢谢.

java java-ee cdi wildfly

0
推荐指数
1
解决办法
1496
查看次数

标签 统计

cdi ×3

java-ee ×3

apache-spark ×2

ejb ×2

wildfly ×2

ejb-3.0 ×1

git ×1

intellij-idea ×1

java ×1

maven ×1

scala ×1