标签: near-real-time

我即将开发一个近乎实时聊天的网站.我知道它可以使用xmpp或websocket协议实现.我也知道xmpp协议是在1999年开发的,我想它现在应该是成熟的.另一方面,websocket协议已于2011年开发.

1. 如果xmpp在处理实时对话方面表现良好,那对websocket的需求是什么？
2. 两种协议之间的主要区别是什么？
3. 我何时应该选择其中一个而不是另一个？

我有一个很好的旧式LAMP webapp.一周前我需要为它添加推送通知机制.
因此,我所做的是在服务器上添加node.js + socket.io并使用node.js每隔10秒轮询MySQL数据库以检查是否有新项:如果有,我会将它们发送到客户端( s)与socket.io.
我对结果非常满意,即使这不是一个正确的实时通知(因为有一个长达10秒的滞后).

现在,我即将构建一个新的webapp,它也需要推送通知.我想知道是否采用与第一种方法相同的方法(我相信它更稳定和成熟),或者完全使用Node.js,而不需要PHP和Apache.至于数据库,我已经决定去MongoDB了.

最后,我的问题是:如果我选择Node.js + Socket.io + MongoDB,我会得到一个真正 接近实时的 webapp吗？我的意思是,一旦将新记录插入MongoDB,是否会触发某种事件,我可以通过node.js捕获,对其进行一些检查,如果相关,则将通知发送给客户端？或者,无论如何都会在数据库服务器端进行某种轮询并延迟,就像我的第一个LAMP webapp一样？

一个相关的问题:你可以在MySQL上构建一个实时的webapp,而不像我在我的第一个应用程序那样进行任何轮询.或者你需要MongoDB(或Redis)？

我希望这个问题不是太傻 - 对不起,我刚开始使用Node.js和co.

谢谢.

我最近遇到了WebSockets,我对他们带来的可能性感到震惊.我搜索了这种实时(和近实时)通信协议和技术的完整列表 - 例如XMPP,WebRTC,但我找不到任何接近完整的列表.所以请帮我组合清单.

更新:我正在寻找可用于网络的实时协议.

背景:

我有一个PostgreSQL(v8.3)数据库,它针对OLTP进行了大量优化.

我需要半实时地从中提取数据(有些人必然要问半实时意味着什么,答案是我合理的频率但是我会务实,因为基准可以说我们希望每15分钟一次并将其送入数据仓库.

多少数据？在高峰时段,我们正在谈论每分钟大约80-100k行击中OLTP侧,非高峰时这将大幅下降到15-20k.最频繁更新的行每个约64个字节,但有各种表等,因此数据非常多样化,每行最多可达4000个字节.OLTP处于活动状态24x5.5.

最佳方案？

从我可以拼凑起来的最实用的解决方案如下:

• 创建TRIGGER以将所有DML活动写入旋转的CSV日志文件
• 执行所需的任何转换
• 使用本机DW数据泵工具将转换后的CSV高效泵入DW

为什么这种做法？

• TRIGGERS允许选择性表格成为目标,而不是系统范围+输出可配置(即成为CSV),并且相对容易编写和部署.SLONY使用类似的方法,开销是可以接受的
• CSV易于快速转换
• 易于将CSV泵入DW

考虑的替代方案......

• 使用本机日志记录(http://www.postgresql.org/docs/8.3/static/runtime-config-logging.html).问题是它相对于我需要的看起来非常冗长,并且解析和转换有点棘手.然而,它可能更快,因为我认为与TRIGGER相比,开销更少.当然它会使管理员更容易,因为它是系统范围的,但同样,我不需要一些表(一些用于持久存储我不想记录的JMS消息)
• 直接通过ETL工具(如Talend)查询数据并将其泵入DW ...问题是OLTP模式需要调整以支持这一点并且有许多负面的副作用
• 使用经过调整/攻击的SLONY - SLONY可以很好地记录日志并将更改迁移到从站,因此概念框架就在那里,但建议的解决方案似乎更简单,更清洁
• 使用WAL

有没有人这样做过？想分享你的想法？

我无法决定是将我的应用程序归类为"实时"还是"接近实时",或者甚至是其他东西.

软件在从源生成数据时立即接收数据,然后根据某些规则在满足某些条件时发出警报.它需要每隔30秒检查最后30秒数据的方法,以查看是否已满足规则的标准.

那是实时的吗？实时与近实时定义的阈值是多少？

编辑

我认为这是在网络上为业务定义实时的重复.

请确定以上主题是否不足以回答您的问题.

问题

1. 使用 Snowpipe 加载小文件（例如 4K）比 16K、500K 或 1-10Mb（推荐的文件大小）贵多少。注意：这个问题意味着加载小文件比推荐的 1-10Mb 更昂贵。

2. 了解最佳做法是加载大小为 1-10Mb 的文件，但我需要近乎实时的交付（几分钟）。我可以连接文件使它们更大，但不能等待超过 60 秒才能将微批处理发送到 S3，因此也发送到 Snowpipe。我目前每 30 秒写一次我有的东西，但我每 60 秒看到一次 Snowpipe 报告。这是否意味着将文件写入 S3 的频率超过 60 秒没有意义？IE。如果我每 30 秒发送一次文件，它实际上会减少平均延迟还是 60 秒是最小雪管周期。

3. 加载 4K 文件（每天大约 200Mb，每个文件 4K），每 GB 花费大约 20 个积分，这是非常昂贵的。如果我加载（例如）1-10Mb 范围内的 CSV 文件，使用 Snowpipe 的每 GB 成本应该是多少？如果我保持在 1-10Mb 范围内，我的每千兆字节成本会下降吗？

4. 是否有任何更快/更便宜的替代方法可以将数据导入 Snowflake？注意：目前使用 Parquet 格式的 Snowpipe 到 VARIANT，然后使用 STREAMS 和 TASKS 重构数据以进行近实时分析。了解使用 Snowpipe 比使用虚拟仓库更便宜。这是真的？我怀疑真正的答案是“视情况而定”。但是“取决于什么”。

5. 除了我的近实时要求之外，我还有许多系统提供批处理提要（CSV 格式，大约每 4 小时一次，预计在 30 分钟内处理和呈现以供分析）。文件大小在这里各不相同，但大多数是 1Mb到 1Gb 范围。我应该使用相同的 Snowpipe 解决方案，还是我最好从 Airflow 编排工作并在专用虚拟仓库上使用 COPY 命令和 SQL 语句？或者实际上，您会推荐什么替代方案？

6. 我可以看到 …

我可能正在做一个基于iPhone的应用程序进行近乎实时的声音处理(过滤等).我想知道最好的入门方式.我想创建一个音频线索进行记录和处理声音,描述在这里？

编辑:

我应该清楚.一般来说,我不是在问如何进行信号处理.我知道其中一些,我的团队的专家会处理剩下的事情.我问iphone上声音数据的"低级"接口是什么.

EDIT2:

我的iphone开发已被推迟了一两个星期,所以我现在无法访问deve套件.一旦我可以访问该套件,我会将一个答案标记为正确.