从Amazon SQS提供Apache Spark Streaming？

Question

Spark可以通过多种方式提供,如文档中所述(如Kafka,Flume,Twitter,ZeroMQ,Kinesis或普通的旧TCP套接字).有人知道如何从Amazon SQS提供Spark Streaming吗？

Answer 1

有一个名为spark-sql-receiver的github项目.它已被上传到maven存储库,其中groupId为com.github.imapi artifactId of spark-sqs-receiver_2.10.它目前在1.0.1版本上.根据github项目的外观,它也在积极维护.以下是从项目的README.md文件中无耻地复制的一些示例代码:

ssc.receiverStream(new SQSReceiver("sample")
      .credentials(<key>, <secret>)
      .at(Regions.US_EAST_1)
      .withTimeout(2))