熊猫:修改特定级别的Multiindex

Question

我有一个带有Multiindex的数据框,并希望修改Multiindex的一个特定级别.例如,第一级可能是字符串,我可能想要从该索引级别删除空格:

df.index.levels[1] = [x.replace(' ', '') for x in df.index.levels[1]]

但是,上面的代码会导致错误:

TypeError: 'FrozenList' does not support mutable operations.

我知道我可以reset_index并修改列然后重新创建Multiindex,但我想知道是否有更优雅的方法来直接修改Multiindex的某个特定级别.

Answer 1

感谢@ cxrodgers的评论,我认为最快的方法是:

df.index = df.index.set_levels(df.index.levels[0].str.replace(' ', ''), level=0)

旧的,更长的回答:

我发现@Shovalt建议的列表理解有效但在我的机器上感觉很慢(使用大于10,000行的数据帧).

相反,我能够使用.set_levels方法,这对我来说要快得多.

%timeit pd.MultiIndex.from_tuples([(x[0].replace(' ',''), x[1]) for x in df.index])
1 loop, best of 3: 394 ms per loop

%timeit df.index.set_levels(df.index.get_level_values(0).str.replace(' ',''), level=0)
10 loops, best of 3: 134 ms per loop

实际上,我只需要预先添加一些文本.这更快.set_levels:

%timeit pd.MultiIndex.from_tuples([('00'+x[0], x[1]) for x in df.index])
100 loops, best of 3: 5.18 ms per loop

%timeit df.index.set_levels('00'+df.index.get_level_values(0), level=0)
1000 loops, best of 3: 1.38 ms per loop

%timeit df.index.set_levels('00'+df.index.levels[0], level=0)
1000 loops, best of 3: 331 µs per loop

此解决方案基于@denfromufa评论链接中的答案...

python - Multiindex和timezone - 冻结列表错误 - Stack Overflow

Answer 2

如注释中所述,索引是不可变的,必须在修改时重新创建,但您不必使用reset_index它,您可以直接创建新的多索引:

df.index = pd.MultiIndex.from_tuples([(x[0], x[1].replace(' ', ''), x[2]) for x in df.index])

此示例适用于3级索引,您可以在其中修改中间级别.您需要更改不同级别大小的元组大小.

Answer 3

其他答案工作正常。但是，根据多重索引的结构，直接在级别上应用映射而不是构建新的多重索引可能会快得多。

我使用以下函数来修改特定的索引级别。它也适用于单级指数。

def map_index_level(index, mapper, level=0):
    """
    Returns a new Index or MultiIndex, with the level values being mapped.
    """
    assert(isinstance(index, pd.Index))
    if isinstance(index, pd.MultiIndex):
        new_level = index.levels[level].map(mapper)
        new_index = index.set_levels(new_level, level=level)
    else:
        # Single level index.
        assert(level==0)
        new_index = index.map(mapper)
    return new_index

用法：

df = pd.DataFrame([[1,2],[3,4]])
df.index = pd.MultiIndex.from_product([["a"],["i","ii"]])
df.columns = ["x","y"]

df.index = map_index_level(index=df.index, mapper=str.upper, level=1)
df.columns = map_index_level(index=df.columns, mapper={"x":"foo", "y":"bar"})

# Result:
#       foo  bar
# a I     1    2
#   II    3    4

注意：上述方法仅在保留级别值mapper的唯一性时才有效！在上面的示例中，将失败并显示. 可以通过将上述代码修改为以下方式来禁用完整性检查：mapper = {"i": "new", "ii": "new"}set_index()ValueError: Level values must be unique

new_index = index.set_levels(new_level, level=level,
                             verify_integrity=False)

但最好不要！请参阅 的文档set_levels。