小编Xia*_*Lin的帖子

这是我的输入文件的样子：

{"Id": 1, "Address": {"Street":"MG Road","City":"Pune"}}
{"Id": 2, "Address": {"City":"Mumbai"}}
{"Id": 3, "Address": {"Street":"XYZ Road"}}
{"Id": 4}
{"Id": 5, "PhoneNumber": 12345678, "Address": {"Street":"ABCD Road", "City":"Bangalore"}}

在我的数据流管道中，我如何动态确定每行中存在哪些字段以符合 BigQuery 表架构。例如，在第 2 行中，Street丢失了。我希望Address.StreetBigQuery 中的列条目为"N/A"ornull并且不希望管道因架构更改或丢失数据而失败。

在使用 Python 写入 BigQuery 之前，如何在数据流作业中处理此逻辑？