Scala代码无法获取s3文件

Question

我正在尝试运行EMR烫伤工作,并且Scala代码假定要获取位于S3存储桶中的文本文件的内容.该scala.io.source库正在弄乱S3路径的正确位置.

我将参数runidfile提供给EMR作业:

--runidfile s3://my-bucket/input.txt

scala代码执行以下操作:

val runid_path = args("runidfile")
val runid = Source.fromFile(runid_path).getLines().mkString

代码以某种方式不接受S3路径中的"//",我收到一个错误:

由以下引起:java.io.FileNotFoundException:s3:/my-bucket/input.txt(没有这样的文件或目录)
java.io.FileInputStream.open(Native Method)
在java.io.FileInputStream.(FileInputStream.java: 146)
scala.io.Source $ .fromFile(Source.scala:90)
at scala.io.Source $ .fromFile(Source.scala:75)
at scala.io.Source $ .fromFile(Source.scala:53)
在com.move.scalding.userEvents.RecommenderValidator.(RecommenderValidator.scala:37)

这有什么解决方案或解决方法吗？我尝试使用Source.fromURL,但S3不是有效的协议,所以它不接受它.

Answer 1

该scala.io.Source库无意直接从Amazon S3访问文件.你需要另一个库.

您可以使用官方的Amazon S3 Java Library.这是一些示例代码(从这个问题及其答案中复制而来)

val credentials = new BasicAWSCredentials("myKey", "mySecretKey")
val s3Client = new AmazonS3Client(credentials)
val s3Object = s3Client.getObject(new GetObjectRequest("my-bucket", "input.txt"))
val myData = Source.fromInputStream(s3Object.getObjectContent())

val runid = myData.getLines().mkString