JS 中处理和更新庞大数据集的性能问题

Question

我有一个 Python Tkinter 应用程序，它使用 Matplotlib 将包含 1000 万个数据点的数据集加载到绘图中。此外，它允许用户在运行时不断应用各种信号处理滤波器来操纵数据并更新绘图。

\n

我正在使用 React 和微服务架构在 Web 平台中重新构建这个应用程序，\xc2\xa0 数据文件保存在 S3 中并由客户端加载。

\n

应应用的数据过滤器是：

\n

\n
• 巴特沃斯
\n
• 迹线归一化
\n
• 标准差
\n

\n

目前使用的python库有：

\n

\n
• scipy
\n
• 数值模拟
\n
• 绘图库
\n

\n

我面临的问题如下：

\n

\n
• JS 中没有明显的库可以像 Pyhton 那样满足我对复杂\xc2\xa0信号处理的需求
\n
• 在客户端以外的任何地方进行处理将导致不必要的网络流量。
\n

\n

在 JS 中对庞大数据集应用实时复杂数学\xc2\xa0calculations\xc2\xa0 的正确方法是什么？

\n

我最初的想法是向 Python 微服务发送一个 HTTP 请求，并使用所选的过滤器将其应用于文件并将数据发送回客户端。这种方法的最大问题是仅仅为了做出一个小改变就会产生巨大的网络流量。对于桌面应用程序中的压缩，处理此类更改只需不到半秒的时间。

\n

我的网络应用程序是用 ReactJS 编写的，我使用的绘图库是 Poltly.js，它工作得很好，但实时数据操作是一个巨大的挑战。

\n