即时插入大型数据集

Question

插值大数据集

我有一个大约0.5百万条记录的大数据集,表示在给定日期内美元/英镑之间的汇率.

我有一个应用程序,希望能够绘制此数据或可能是一个子集.出于显而易见的原因,我不想在我的图表上绘制50万点.

我需要的是一个较小的数据集(100点左右),它准确地(尽可能)代表给定的数据.有谁知道这些数据可以实现的任何有趣和高效的方式？

干杯,卡尔

Answer 1

一种想法是使用 DBMS 通过适当的查询来压缩数据。类似于让它取特定范围的中位数，伪查询：

SELECT truncate_to_hour(rate_ts), median(rate) FROM exchange_rates 
WHERE rate_ts >= start_ts AND rate_ts <= end_ts
GROUP BY truncate_to_hour(rate_ts)
ORDER BY truncate_to_hour(rate_ts)

其中 truncate_to_hour 适合您的 DBMS。或者使用类似的方法，使用某种函数将时间分割成独特的块（例如舍入到最近的 5 分钟间隔），或者使用另一个数学函数来聚合适合代替中位数的组。考虑到时间分段过程的复杂性以及 DBMS 的优化方式，使用分段时间值对临时表运行查询可能会更有效。