标签: netflix-metaflow

我使用 Metaflow 加载数据框。它已成功从工件存储中取消腌制，但当我尝试使用 查看其索引时df.index，收到一条错误消息ModuleNotFoundError: No module named 'pandas.core.indexes.numeric'： 。为什么？

我在这里和这里查看了具有类似错误消息的其他答案，这些答案说这是由于尝试使用旧版本的 Pandas 来取消数据帧引起的。然而，我的错误略有不同，并且不能通过升级 Pandas ( pip install pandas -U) 来修复。

我用来metaflow创建一个文本处理管道，如下所示：-

                                 ___F------
                     ______ D---|          |  
                    |           |___G---|  |__>  
          ____B-----|                   |----->H
         |          |______E_________________> ^
      A -|                                     |
         |____C________________________________|

根据文档，branch允许并行计算步骤，并用于并行计算 (B, C)、(D, E) 和 (F, G)。最后所有分支都在 H 处连接。以下是实现此逻辑的代码：-

from metaflow import FlowSpec, step

class TextProcessing(FlowSpec):

  @step
  def a(self):
    ....

    self.next(self.b, self.c)

  @step
  def c(self):
    result1 = {}

    ....

    self.next(self.join)

  @step
  def b(self):
    ....

    self.next(self.d, self.e)

  @step
  def e(self):
    result2 = []
    .....

    self.next(self.join)

  @step
  def d(self):
    ....

    self.next(self.f, self.g)

  @step
  def f(self):
    result3 = []
    .... …