在 Databricks+Spark 笔记本中使用 curl

Question

我正在使用 Databricks 运行 Spark 集群。我想使用 curl 从服务器传输数据。例如，

curl -H "Content-Type: application/json" -H "auth:xxxx" -X GET "https://websites.net/Automation/Offline?startTimeInclusive=201609240100&endTimeExclusive=201609240200&dataFormat=json" -k > automation.json

如何在 Databricks 笔记本中执行此操作（最好使用 python，但 Scala 也可以）？

Answer 1

在 Databricks 中，您可以通过将 %sh 设为单元格的第一行来从单元格运行 shell 命令：

%sh
curl -H "Content-Type: application/json" -H "auth:xxxx" -X GET "https://websites.net/Automation/Offline?startTimeInclusive=201609240100&endTimeExclusive=201609240200&dataFormat=json" -k > automation.json