标签: ibm-cloud-storage

我正在尝试从 IBM Watson Studio 连接到 COS，但出现错误...

当我按 Enter 时，出现以下错误：

Unable to find products data_catalog or data_science_experience in the 
entitlements response for account id: 51373fa1b8bf36fd9d78574d19af0d11.

我想从 S3 资源创建 Apache Spark DataFrame。我在 AWS 和 IBM S3 Clout 对象存储上尝试过，都失败了

org.apache.spark.util.TaskCompletionListenerException: Premature end of Content-Length delimited message body (expected: 2,250,236; received: 16,360)

我正在运行 pyspark

./pyspark --packages com.amazonaws:aws-java-sdk-pom:1.11.828,org.apache.hadoop:hadoop-aws:2.7.0

我正在为 IBM 设置 S3 配置

sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", "xx")
sc._jsc.hadoopConfiguration().set("fs.s3a.secret.key", "xx")
sc._jsc.hadoopConfiguration().set("fs.s3a.endpoint", "s3.eu-de.cloud-object-storage.appdomain.cloud")

或者 AWS 与

sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", "xx")
sc._jsc.hadoopConfiguration().set("fs.s3a.secret.key", " xx ")
sc._jsc.hadoopConfiguration().set("fs.s3a.endpoint", "s3.us-west-2.amazonaws.com")

在这两种情况下，代码如下： df=spark.read.csv("s3a://drill-test/cases.csv")

它失败了，但有例外

org.apache.spark.util.TaskCompletionListenerException: Premature end of Content-Length delimited message body (expected: 2,250,236; received: 16,360)

所以，我在 IBM 的 Cloud Object Storage 上有一个存储桶。在这个存储桶中，我有一个名为“test.png”的文件。

我需要的是一个可以用来直接访问这个文件的 URL。一个我可以在浏览器上写的 URL，图像将在我的浏览器上打开。

我到处搜索，除了这种格式的“ObjectSQL URL”之外找不到任何东西：

cos://{Region}/{Bucket}/{File}