小编Jun*_*ck2的帖子

我正在尝试设置Apache Spark以在Mesos上运行,但是我在终端上收到以下消息:

W0309 10:37:10.570291 4017 sched.cpp:700]忽略框架注册消息,因为它是从'master@127.0.1.1:5050'而不是主要主人'master@127.0.0.1:5050'发送的

此消息一直出现在spark-shell上,我无法运行任何命令.我使用命令启动了spark-shell:

./bin/spark-shell --master mesos://127.0.0.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz

当我检查Mesos WebUI上的Framework选项卡时,Spark Shell被列为框架.

任何想法为什么我面对上述消息,无法从spark-shell运行命令？或者,任何在Mesos上运行Spark的好参考？

我正在使用 Apache Mesos 在集群模式下运行 Apache Spark。但是，当我启动 Spark-Shell 运行简单的测试命令 (sc.parallelize(0 to 10, 8).count) 时，我收到以下警告消息：

10 年 3 月 16 日 11:50:55 警告 TaskSchedulerImpl：初始作业尚未接受任何资源；检查集群 UI 以确保工作线程已注册并拥有足够的资源

如果我检查 Mesos WebUI，我可以看到 Spark-Shell 被列为一个框架，并且我列出了一个从机（我自己的机器）。有什么帮助如何解决它吗？

我正在使用 Amazon RDS 服务托管 PostreSql，它充当我的 Java 应用程序的数据库。应用程序启动后，它能够按预期执行查询，直到我停止交互几分钟并尝试再次执行任何查询。在这种情况下，我得到以下异常：

WARNING: Validating connection.
org.postgresql.util.PSQLException: An I/O error occurred while sending to the backend.
    at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:327)
    at org.postgresql.jdbc.PgStatement.executeInternal(PgStatement.java:428)
    at org.postgresql.jdbc.PgStatement.execute(PgStatement.java:354)
    at org.postgresql.jdbc.PgPreparedStatement.executeWithFlags(PgPreparedStatement.java:169)
    at org.postgresql.jdbc.PgPreparedStatement.executeUpdate(PgPreparedStatement.java:136)
    at org.postgresql.jdbc.PgConnection.isValid(PgConnection.java:1311)
    at org.apache.commons.dbcp2.DelegatingConnection.isValid(DelegatingConnection.java:897)
    at org.apache.commons.dbcp2.PoolableConnection.validate(PoolableConnection.java:270)
    at org.apache.commons.dbcp2.PoolableConnectionFactory.validateConnection(PoolableConnectionFactory.java:630)
    at org.apache.commons.dbcp2.PoolableConnectionFactory.validateObject(PoolableConnectionFactory.java:648)
    at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:472)
    at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:349)
    at org.apache.commons.dbcp2.PoolingDataSource.getConnection(PoolingDataSource.java:134)
    at org.apache.commons.dbcp2.BasicDataSource.getConnection(BasicDataSource.java:753)

Caused by: java.net.SocketException: Operation timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
    at java.net.SocketInputStream.read(SocketInputStream.java:170)
    at java.net.SocketInputStream.read(SocketInputStream.java:141)
    at org.postgresql.core.VisibleBufferedInputStream.readMore(VisibleBufferedInputStream.java:140)
    at org.postgresql.core.VisibleBufferedInputStream.ensureBytes(VisibleBufferedInputStream.java:109)
    at org.postgresql.core.VisibleBufferedInputStream.read(VisibleBufferedInputStream.java:67)
    at org.postgresql.core.PGStream.receiveChar(PGStream.java:288)
    at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:1962)
    at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:300)

在 Amazon RDS PostgreSQL 上，我看到以下错误： …