标签: data-synchronization

我知道a BlockingCollection最适合消费者/生产者模式.然而,当我使用一个ActionBlock从TPL数据流库？

我最初的理解是针对IO操作,保持BlockingCollection同时CPU密集型操作适合于ActionBlock.但我觉得这不是整个故事...任何额外的见解？

我们有一个使用通用表设计的规范化 SQL Server 2008 数据库。因此，我们有通用表（实体、实例、关系、属性等），而不是为每个实体（例如产品、订单、订单项等）设置单独的表。

我们决定使用一个单独的非规范化数据库来快速检索数据。假设它们具有不同的架构，您能否告诉我同步这两个数据库的各种技术？

干杯，莫什

我们计划使用 Amazon Dynamo db 开发应用程序。实际上，这个应用程序正在从我客户的数据库中收集信息（我的客户正在使用 MYSQL、Oracle、MSsql/任何其他关系数据库），在我的应用程序中执行一些过程并将结果发送回客户的数据库。此同步过程应始终有效（或每 1 分钟间隔）。

我想知道是否有任何工具（或技巧）可用于 Amazon dynamo 数据库和关系数据库之间的同步？

问题

我有两个对象列表。每个对象包含以下内容：

• GUID （允许确定对象是否相同 - 从业务角度来看）
• Timestamp （每次对象更改时更新到当前 UTC）
• Version （正整数；每次对象改变时递增）
• Deleted （布尔标志；切换到“真”而不是实际删除对象）
• Data （一些有用的有效载荷）
• 如果需要，任何其他字段

接下来，我需要根据这些规则同步两个列表：

• 如果某些对象GUID仅出现在一个列表中，则应将其复制到另一个列表中
• 如果GUID两个列表中都出现了一些对象，Version则应将具有较少的实例替换为具有较大的实例Version（如果版本相同，则无关紧要）

实际要求：

• 每个列表有 50k+ 个对象，每个对象大约 1 Kb
• 列表被放置在通过互联网连接的不同机器上（例如，移动应用程序和远程服务器），因此算法不应该浪费太多流量或 CPU
• 大多数情况下（比如 96%）列表在同步过程之前已经同步，因此，算法应该以最小的努力来确定它
• 如果有任何差异，大多数情况下它们很小（更改/添加了 3-5 个对象）
• 如果一个列表为空，则应继续执行（而其他列表仍有 50k+ 项）

解决方案#1（目前已实施）

1. 客户端存储上次同步成功的时间（比如T）
2. 两个列表都要求所有具有Timestamp> T（即最近修改过的对象；在生产中它是 ... > ( T- day ) 以获得更好的健壮性）
3. 这些最近修改的对象列表是天真同步的：
   • 仅出现在第一个列表中的项目将保存到第二个列表中
   • 仅出现在第二个列表中的项目将保存到第一个列表中
   • 其他项目将它们的Version's 进行比较并保存到专用列表（如果需要）

过程：

• 小改动效果很好
• 几乎符合要求

缺点：

• 取决于T，这使算法变得脆弱：同步上次更新很容易，但很难确保列表完全同步（使用T1970-01-01 …

所以有一点背景 - 我们有大量的数据源,从RDBMS到S3文件.我们希望将这些数据与其他各种数据仓库,数据库等同步和集成.

起初,这似乎是卡夫卡的典型模式.我们希望通过Kafka将数据更改流式传输到数据输出源.在我们的测试案例中,我们使用Oracle Golden Gate捕获更改并成功将更改推送到Kafka队列.但是,将这些更改推送到数据输出源已经证明具有挑战性.

我意识到如果我们只是向Kafka主题和队列添加新数据,这将非常有效.我们可以缓存更改并将更改写入各种数据输出源.然而,这种情况并非如此.我们将更新,删除,修改分区等.处理此问题的逻辑似乎要复杂得多.

我们尝试使用登台表和连接来更新/删除数据,但我觉得这会很快变得非常笨拙.

这就是我的问题 - 我们可以采取哪些不同的方法来处理这些操作？或者我们应该完全朝着不同的方向前进？

任何建议/帮助非常感谢.谢谢!

下图是我正在创建的 Web 应用程序的基本表示。

应用程序的基本操作如下：

1. 客户端从 node.js 服务器发送数据请求
2. 服务器收到请求。
3. 服务器从数据库中获取数据。
4. 服务器将数据作为 JSON 字符串发送回客户端。
5. 客户端接收数据将其存储为 JSON 对象并将其绑定到表。

这一切正常。我遇到的问题最好由以下情况表示。

1. 客户端 1 到 4 都完成了上述步骤（即都有一个绑定到 JSON 对象的数据表）。
2. 客户端 1 现在向服务器发送更新请求。
3. 服务器收到请求。
4. 服务器更新数据库。
5. 服务器向客户端 1 发送响应，指示操作成功并更新绑定到表的 JSON 对象。
6. 客户端 2 到 4 上显示的问题JSON 数据现在不再与数据库同步。