用于分析xml数据的Azure解决方案

Question

我们正在考虑在Azure中开发BI解决方案，以分析对我们系统的客户航空公司搜索请求。这些请求以xml格式存储，每天大约生成5000万个。您将建议使用哪种Azure解决方案将这些数据加载到云中，分析这些数据...跨时间的趋势（以便保留历史数据），实时系统性能/错误。数据包含在xml中？

我认为我们还需要诸如快速路由之类的东西才能将数据传输到云中

Answer 1

您可以使用Azure Blob存储将数据上传到Azure。如果要分析的XML数据很复杂，则可能必须将其转换为更简单的格式，例如CSV格式。

您可以使用Azure数据工厂将XML文件转换为CSV文件，然后可以通过Polybase和Azure数据工厂上的已开发存储过程活动将所有生成的CSV文件加载到Azure SQL数据仓库中的相应表中。

如果要在BLOB存储上有一个未处理XML文件的文件夹，要处理XML文件的另一个文件夹，并为CSV文件创建的另一个文件夹，并且希望Azure Data Factory在所有过程中将文件从一个文件夹移动到另一个文件夹，则您需要使用HDInsight并为此创建一个地图减少活动。

PolyBase允许使用T-SQL语句访问Hadoop或Azure Blob存储中存储的数据，并以即席方式对其进行查询。它还可以让您查询半结构化数据，并将结果与​​存储在SQL数据仓库中的关系数据集结合起来。您应该能够使用PolyBase创建指向Blob存储中数据的外部表。然后，使用简单的存储过程，可以选择外部表中的所有数据，并将它们加载到SQL Data Warehouse中的相​​应表中。

将所有转换后的数据加载到相应的表中之后，您可以编写存储过程来生成聚合表的数据，然后将这些数据用于提供PowerBI仪表板。

希望这可以帮助。

Answer 2

Azure Data Lake的U-SQL的官方文档说：

解析非结构化数据，例如网页和电子邮件，或半非结构化数据，例如XML / JSON。

然后，您可以将其与Azure流分析结合使用来创建警报或连接到其他Azure服务（例如EventHub等）。

昂贵但相当可靠的解决方案也可以将Logic App与一些连接器结合使用，以创建类似工作流的体验。