Azure Data Lake中的文件夹统计信息

Bad*_*ion 3 analytics azure azure-data-lake u-sql

我试图总结多少数据已写入Data Lake中的文件夹。做这个的最好方式是什么?我应该使用U-SQL作业吗?HDInsights?

小智 6

有两种方法可以做到这一点:

  1. 如果是一次性操作,则可以使用Azure存储资源管理器(https://azure.microsoft.com/en-us/features/storage-explorer/),导航到Data Lake Store文件夹并获取其大小它。
  2. 如果您希望通过编程的方式来执行此操作,Data Lake Store提供了一个符合WebHDFS的API,该API可以列出几个文件夹属性:GETCONTENTSUMMARY。您可以在此处查看更多详细信息:https : //docs.microsoft.com/zh-cn/rest/api/datalakestore/webhdfs-filesystem-apis

希望这可以帮助

约瑟