RxPy:在(慢)扫描执行之间排序热观察

Question

TL; DR我正在寻求帮助来实现下面的大理石图.目的是尽可能地对未排序的值进行排序,而无需等待扫描执行之间的时间.

我不是要求全面实施.欢迎任何指导. 我有一个异步慢(强制测试目的)扫描无限热观察.这是相关代码:

thread_1_scheduler = ThreadPoolScheduler(1)
thread = ExternalDummyService()
external_obs = thread.subject.publish()

external_obs \
    .flat_map(lambda msg: Observable.just(msg).subscribe_on(thread_1_scheduler)) \
    .scan(seed=State(0, None), accumulator=slow_scan_msg) \
    .subscribe(log, print, lambda: print("SLOW FINISHED"))

external_obs.connect()
thread.start()

def slow_scan_msg(state, msg):
    sleep(0.4)
    return state \
        ._replace(count = state.count + 1) \
        ._replace(last_msg = msg)

这是完整版:https://pyfiddle.io/fiddle/781a9b29-c541-4cd2-88ba-ef90610f5dbd

这是当前输出(值是随机生成的):

emitting Msg(count=0, timestamp=14.139175415039062)
emitting Msg(count=1, timestamp=6.937265396118164)
emitting Msg(count=2, timestamp=11.461257934570312)
emitting Msg(count=3, timestamp=13.222932815551758)
emitting Msg(count=4, timestamp=5.713462829589844)
SLOW st.count=0 last_msg.counter=0 ts=14.14
SLOW st.count=1 last_msg.counter=1 ts=6.94
SLOW st.count=2 last_msg.counter=2 ts=11.46
SLOW st.count=3 last_msg.counter=3 ts=13.22
SLOW st.count=4 last_msg.counter=4 ts=5.71
SLOW FINISHED

我想在扫描执行之间对待处理的消息进行排序.因此,第一个发出的消息将始终是第一个消耗的消息,但下一个消耗的消息将是发送和未消费消息的min(值),直到该点(所有这些消息都在当前版本中,因为即时发送).等等......我认为大理石图比我的解释更好.

请注意,扫描不等待完成事件,唯一的原因是它在发出最后一条消息后没有启动是因为睡眠.这里有另一个版本,其中睡眠已从扫描中删除并放入ExternalDummyService.您可以看到值在发出时消耗.这也显示在大理石图中.

我尝试使用to_sorted_list,这是我在RxPy中找到的唯一排序方法,但我无法使其正常工作.

我正在寻找的是这样的:

external_obs \
    .flat_map(lambda msg: Observable.just(msg).subscribe_on(thread_1_scheduler)) \
############ buffered_sort() does not exist
    .buffered_sort(lambda msg: msg.timestamp) \
############
    .scan(seed=State("SLOW", 0, None), accumulator=slow_scan_msg) \
    .subscribe(log, print, lambda: print("SLOW FINISHED"))

谢谢

Answer 1

如果要使用to_sorted_list,则需要重新映射在单个元素中获得的列表.将您的main功能更改为:

def main():
    thread_1_scheduler = ThreadPoolScheduler(1)

    thread = ExternalDummyService()
    external_obs = thread.subject.publish()

    external_obs \
        .flat_map(lambda msg: Observable.just(msg).subscribe_on(thread_1_scheduler)) \
        .to_sorted_list(key_selector=lambda msg: msg.timestamp) \
        .flat_map(lambda msglist: Observable.from_iterable(msglist)) \
        .scan(seed=State(0, None), accumulator=slow_scan_msg) \
        .subscribe(log, print, lambda: print("SLOW FINISHED"))

    external_obs.connect()

    thread.start()

得到:

>emitting Msg(count=0, timestamp=18.924474716186523)
>emitting Msg(count=1, timestamp=4.669189453125)
>emitting Msg(count=2, timestamp=18.633127212524414)
>emitting Msg(count=3, timestamp=15.151262283325195)
>emitting Msg(count=4, timestamp=14.705896377563477)
>SLOW st.count=0 last_msg.counter=1 ts=4.67
>SLOW st.count=1 last_msg.counter=4 ts=14.71
>SLOW st.count=2 last_msg.counter=3 ts=15.15
>SLOW st.count=3 last_msg.counter=2 ts=18.63
>SLOW st.count=4 last_msg.counter=0 ts=18.92
>SLOW FINISHED

请注意,该to_sorted_list方法将等待主题流的结束开始扫描,因此您无法使用它来实现问题中显示的大理石图.

为了正确实现它,我认为你需要onBackpressureBuffer在RxJava中实现但在RxPy中不实现的东西.

这不能完全解决问题,因为缓冲区是FIFO(先进先出),并且您需要一种自定义方式来选择首先输出哪条消息.这可能需要调整如何处理对缓冲区的请求.

你可能会找到一种更好的方法来推进一个名为rxbackpressure的RxPy扩展解决方案,特别是它的dequeuablebuffer.py类,你可以根据自己的需要进行调整.