Spark 中流数据与历史数据之间的连接

Question

假设我有交易数据和访问数据

visit
| userId | Visit source | Timestamp |
| A      | google ads   | 1         |
| A      | facebook ads | 2         |

transaction
| userId | total price | timestamp |
| A      | 100         | 248384    |
| B      | 200         | 43298739  |

我想加入交易数据和访问数据来做销售归因。我想在交易发生时实时进行（流式传输）。

使用 Spark 中的 join 函数在一个数据和非常大的历史数据之间进行连接是否具有可扩展性？历史数据是访问，因为访问可以是任何时间（例如访问是交易发生前一年）

Answer 1

我在我的项目中加入了历史数据和流数据。这里的问题是你必须将历史数据缓存在RDD中，当流数据到来时，你可以进行join操作。但实际上这是一个漫长的过程。

如果要更新历史数据，则必须保留两个副本并使用累加器同时处理其中一个副本，因此不会影响第二个副本。

例如，

transactionRDD 是您以某个时间间隔运行的流 rdd。VisitRDD 是历史记录，每天更新一次。所以你必须为visitRDD维护两个数据库。当您更新一个数据库时，transactionRDD可以使用visitRDD的缓存副本，并且当visitRDD更新时，您可以切换到该副本。其实这很复杂。