小编guz*_*u92的帖子

我在Ubuntu 14.04 LTS上安装了Spark 1.5.使用命令运行build时,build/mvn -Dscala-2.11 -DskipTests clean package我在项目Spark SQL期间遇到以下构建错误:

    [error] missing or invalid dependency detected while loading class file 'WebUI.class'.
        [error] Could not access term eclipse in package org,
        [error] because it (or its dependencies) are missing. Check your build definition for
        [error] missing or conflicting dependencies. (Re-run with `-Ylog-classpath` to see the problematic classpath.)
        [error] A full rebuild may help if 'WebUI.class' was compiled against an incompatible version of org.
        [error] missing or invalid dependency …

我在 AWS EC2 虚拟机 (Ubuntu 14.04) 上，愿意在我的 S3 文件中的 RDD 上使用 Spark 做一些基础知识。成功运行此脏命令时（暂时不使用sparkContext.hadoopConfiguration）

scala> val distFile = sc.textFile("s3n://< AWS_ACCESS_KEY_ID>:<AWS_SECRET_ACCESS_KEY>@bucketname/folder1/folder2/file.csv")

然后我在运行时收到以下错误 distFile.count()

java.lang.NoClassDefFoundError: org/jets3t/service/ServiceException
         at org.apache.hadoop.fs.s3native.NativeS3FileSystem.createDefaultStore(NativeS3FileSystem.java:334)
         at org.apache.hadoop.fs.s3native.NativeS3FileSystem.initialize(NativeS3FileSystem.java:324)
         at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2596)
...
...
Caused by: java.lang.ClassNotFoundException: org.jets3t.service.ServiceException
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)

我以前有

• 使用相应的 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 定义了一个 AWS IAM 用户
• export在 .bashrc 中添加了两个键作为环境变量
• 内置 Spark 1.3.1 SPARK_HADOOP_VERSION=2.6.0-cdh5.4.1 sbt/sbt assembly
• 安装并运行 hadoop 2.6-cdh5.4.1（伪分布式）

它与 的语法有关textFile("s3n// ...")吗？我试过其他人，包括s3://没有成功......

谢谢

我遇到了"经典"的The ResourceConfig instance does not contain any root resource classes错误HelloWorldResource.java

我遵循了Unmanaged Extensions说明:

• 在plugins目录中添加了JAR文件
• 设置org.neo4j.server.thirdparty_jaxrs_classes = org.neo4j.examples.server.unmanaged =/examples/unmanaged

这是代码:

package org.neo4j.examples.server.unmanaged;

import ...

@Path( "/helloworld" )
public class HelloWorldResource {

    //private final GraphDatabaseService database;

    //public HelloWorldResource( @Context GraphDatabaseService database )
    //{
    //    this.database = database;
    //}

    @GET
    @Produces( MediaType.TEXT_PLAIN )
    @Path( "/{nodeId}" )
    public Response hello( @PathParam( "nodeId" ) long nodeId )
    {
        // Do stuff with the database
        return Response.status( Status.OK ).entity(
                ("Hello …

我的问题相当于数据框中与R相关的帖子Create Sparse Matrix,除了我想在Spark上执行相同的操作(最好是在Scala中).

data.txt文件中的数据样本,从中创建稀疏矩阵:

UserID MovieID  Rating
2      1       1
3      2       1
4      2       1
6      2       1
7      2       1

所以最后列是电影ID,行是用户ID

    1   2   3   4   5   6   7
1   0   0   0   0   0   0   0
2   1   0   0   0   0   0   0
3   0   1   0   0   0   0   0
4   0   1   0   0   0   0   0
5   0   0   0   0   0   0   0
6   0 …