小编M_G*_*_Gh的帖子

我有两个节点，每个节点上都安装了带有Mesos、marathon和zookeeper的docker。这是我在主节点上的 docker compose 文件：

version: '3.7'
 services:
  zookeeper:
   image: ubuntu_mesos_home_marzieh
   command: /home/zookeeper-3.4.8/bin/zkServer.sh restart
  environment:
    ZOOKEEPER_SERVER_ID: 1
    ZOOKEEPER_CLIENT_PORT: 2190
    ZOOKEEPER_TICK_TIME: 2000
    ZOOKEEPER_INIT_LIMIT: 10
    ZOOKEEPER_SYNC_LIMIT: 5
    ZOOKEEPER_SERVERS: 150.20.11.133:2888:3888;150.20.11.136:2888:3888
  network_mode: host
  expose:
    - 2190
    - 2888
    - 3888
  ports:
    - 2190:2190
    - 2888:2888
    - 3888:3888

 master-mesos:
  image: ubuntu_mesos_home_marzieh
  command: bash -c "sleep 30; /home/mesos-1.7.0/build/bin/mesos- 
    master.sh --ip=150.20.11.133 --work_dir=/var/run/mesos 
    --hostname=150.20.11.133" 
  privileged: true
  restart: always
  network_mode: host
  depends_on:
    - zookeeper
  environment:
    - LIBPROCESS_IP=150.20.11.133
    - MESOS_HOSTNAME="150.20.11.133"
    - MESOS_QUORUM=1
    - MESOS_LOG_DIR=/var/log/mesos
    - MESOS_WORK_DIR=/var/run/mesos
  expose:
    - 5050
    - 4040 …

我在 Ubuntu 20.04 中有kafka_2.13-2.7.0 。我运行 kafka 服务器和 Zookeeper，然后创建一个主题并通过 发送其中的文本文件nc -lk 9999。该主题充满了数据。另外，我的系统上有spark-3.0.1-bin-hadoop2.7。事实上，我想使用 kafka 主题作为 Spark Structured Streaming with python 的来源。我的代码是这样的：

spark = SparkSession \
    .builder \
    .appName("APP") \
    .getOrCreate()

df = spark \
    .readStream \
    .format("kafka") \
    .option("kafka.bootstrap.servers", "localhost:9092") \
    .option("subscribe", "sparktest") \
    .option("startingOffsets", "earliest") \
    .load()

df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
df.printSchema()

我使用以下命令通过Spark-Submit运行上述代码：

./spark-submit --packages org.apache.spark:spark-streaming-kafka-0-10_2.12:3.0.1,org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1 /home/spark/PycharmProjects/testSparkStream/KafkaToSpark.py 

代码运行没有任何异常，我收到 Spark 站点中的输出：

   root
    |-- key: binary (nullable = true)
    |-- value: binary (nullable …

我有三个不同的节点，每个节点上都有 docker 和 Ubuntu。我可以在本地docker上运行zookeeper服务器（我的意思是没有任何集群配置），但我想用这三个节点创建kafka集群；事实上，我在每个节点上安装了 docker，并加载了 Ubuntu。我"zookeeper.properties"在 docker 环境中配置“150.20.11.157”，如下所示：

dataDir=/tmp/zookeeper/data
tickTime=2000
initLimit=10
syncLimit=5
server.1=0.0.0.0:2888:3888
server.2=150.20.11.134:2888:3888
server.3=150.20.11.137:2888:3888
clientPort=2186

对于节点150.20.11.134，docker环境中的“zookeeper.properties”文件是这样的：

dataDir=/tmp/zookeeper/data
tickTime=2000
initLimit=10
syncLimit=5
server.1=150.20.11.157:2888:3888
server.2=0.0.0.0:2888:3888
server.3=150.20.11.137:2888:3888
clientPort=2186

对于节点150.20.11.137，docker环境中的“zookeeper.properties”文件是这样的：

dataDir=/tmp/zookeeper/data
tickTime=2000
initLimit=10
syncLimit=5
server.1=150.20.11.157:2888:3888
server.2=150.20.11.134:2888:3888
server.3=0.0.0.0:2888:3888
clientPort=2186

另外，我为节点 150.20.11.157 设置“server.properties”：

broker.id=0
port=9092
listeners = PLAINTEXT://150.20.11.157:9092
log.dirs=/tmp/kafka-logs 
zookeeper.connect=150.20.11.157:2186,150.20.11.134:2186,
150.20.11.137:2186

节点 150.20.11.134 的“server.properties”为：

broker.id=1
port=9092
listeners = PLAINTEXT://150.20.11.134:9092
log.dirs=/tmp/kafka-logs 
zookeeper.connect=150.20.11.157:2186,150.20.11.134:2186,
150.20.11.137:2186

节点 150.20.11.137 的“server.properties”为：

broker.id=2
port=9092
listeners = PLAINTEXT://150.20.11.137:9092
log.dirs=/tmp/kafka-logs 
zookeeper.connect=150.20.11.157:2186,150.20.11.134:2186,
150.20.11.137:2186

问题是当我在每个节点的docker上运行zookeeper服务器时。我收到此错误：

[2019-01-16 12:45:54,588] 信息 从以下位置读取配置：./config/zookeeper.properties
(org.apache.zookeeper.server.quorum.QuorumPeerConfig)

[2019-01-16 12:45:54,601] INFO 解析主机名：172.28.10.137 到地址：/172.28.10.137 …

我是 Scala 的新手。我所做的是，我已经 在 Ubuntu 20.04 上安装了Scala 2.13.6、SBT 1.5.5和Intellij 2021.2。我已经在 Intellij 中安装了插件 scala 和 sbt executor。当我创建一个新的 Scala 类并将此代码写入其中时，我可以运行它而不会出现任何错误：

object main extends App{
    println("Hello")
}

但是当我有这个代码时，我无法运行它：

class exm {
   def main(args: Array[String]): Unit={
    println("Hello world")
      }
}

错误如下：

Error: Main method is not static in class exm, please define the main method as:public static void main(String[] args)

我知道 IDE 认为代码是 Java，但为什么呢？

任何帮助将非常感激。