如何在Pandas中处理SettingWithCopyWarning?

big*_*bug 536 python dataframe pandas chained-assignment

背景

我刚刚将我的Pandas从0.11升级到0.13.0rc1.现在,该应用程序正在弹出许多新的警告.其中一个是这样的:

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
Run Code Online (Sandbox Code Playgroud)

我想知道究竟是什么意思?我需要改变什么吗?

如果我坚持使用,我应该如何暂停警告quote_df['TVol'] = quote_df['TVol']/TVOL_SCALE

给出错误的函数

def _decode_stock_quote(list_of_150_stk_str):
    """decode the webpage and return dataframe"""

    from cStringIO import StringIO

    str_of_all = "".join(list_of_150_stk_str)

    quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
    quote_df['TClose'] = quote_df['TPrice']
    quote_df['RT']     = 100 * (quote_df['TPrice']/quote_df['TPCLOSE'] - 1)
    quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
    quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
    quote_df['STK_ID'] = quote_df['STK'].str.slice(13,19)
    quote_df['STK_Name'] = quote_df['STK'].str.slice(21,30)#.decode('gb2312')
    quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])

    return quote_df
Run Code Online (Sandbox Code Playgroud)

更多错误消息

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
E:\FinReporter\FM_EXT.py:450: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
E:\FinReporter\FM_EXT.py:453: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])
Run Code Online (Sandbox Code Playgroud)

Gar*_*ett 677

SettingWithCopyWarning创建它是为了标记可能令人困惑的"链式"赋值,例如以下内容,它们并不总是按预期工作,特别是当第一个选择返回副本时.[ 有关背景讨论,请参见GH5390GH5597.]

df[df['A'] > 2]['B'] = new_val  # new_val not set in df
Run Code Online (Sandbox Code Playgroud)

该警告提供了重写建议,如下所示:

df.loc[df['A'] > 2, 'B'] = new_val
Run Code Online (Sandbox Code Playgroud)

但是,这不符合您的用法,相当于:

df = df[df['A'] > 2]
df['B'] = new_val
Run Code Online (Sandbox Code Playgroud)

虽然很明显你不关心写回到原始帧(因为你覆盖了对它的引用),但遗憾的是这种模式不能与第一个链式赋值示例区分开来,因此(误报)警告.如果您想进一步阅读,可以在索引文档中解决误报的可能性.您可以使用以下分配安全地禁用此新警告.

pd.options.mode.chained_assignment = None  # default='warn'
Run Code Online (Sandbox Code Playgroud)

  • 当他们去寻找替代方案时,试图警告人们有点不太神奇.更新式的Pandas访问方法(改进的`.ix`,改进的`.iloc`等)绝对可以被视为"主要方式",而不会不断地警告每个人的其他方式.相反,让他们成年,如果他们想做链式任务,那就这样吧.反正我的两分钱.人们常常看到来自熊猫开发者的不满评论经常在链式作业中解决问题,但不会被认为是"主要"的方式. (45认同)
  • 我想我主要是赞成不对此发出警告.如果使用链式赋值语法,您肯定可以确定需要发生的索引顺序,以便在任何给定情况下按预期工作.我认为这些有关它的详尽预防措施过于偏执.本着"让每个人都成年"的精神,关于"私人"的课堂方法或属性,我认为对于大熊猫来说,让用户成长为链式作业会更好.只有在你知道自己在做什么的时候才使用它们. (26认同)
  • 在旁注中,我发现禁用chained_assignment警告:`pd.options.mode.chained_assignment = None`导致我的代码运行速度提高了大约6倍.其他人经历过类似的结果? (13认同)
  • @Garrett 请考虑将 @RishabhAgrahari 的评论添加到您的答案中。告诉 pandas 你打算通过调用 `.copy()` 来操作切片的副本,这是一个更好的主意,而不是直接禁用运行时中所有情况的警告。 (11认同)
  • @EMS的问题是,从代码*开始,并不总是很清楚*正在制作副本与视图,并且会出现一些错误/混淆.我们正在考虑放入一个rc文件/选项来自动进行配置,考虑到复制警告的设置是如何工作的,这可能会更有用. (6认同)
  • 我正在使用数据帧的切片,在该切片中进行修改并收到此错误。我通过在原始数据帧上执行“.copy()”创建了这个切片,并且它起作用了。 (4认同)
  • 在切片上使用 .copy() 是一个糟糕的解决方法,因为它引入了额外的、不需要的副本。像“df[df.a > 2]”这样的子集操作已经创建了一个新的数据帧,因此不需要额外的副本的算法。 (3认同)
  • 当然,警告的原因是人们升级旧代码.我肯定需要一个警告,因为我正在处理一些非常丑陋的旧代码. (2认同)

Jef*_*eff 144

一般而言,重点SettingWithCopyWarning是向用户(尤其是新用户)展示他们可能在副本上操作而不是他们想到的原始用户.这里误报(IOW如果你知道你在做什么,它可能是好的).一种可能性就是关闭@Garrett建议的(默认情况下警告)警告.

这是另一种选择:

In [1]: df = DataFrame(np.random.randn(5, 2), columns=list('AB'))

In [2]: dfa = df.ix[:, [1, 0]]

In [3]: dfa.is_copy
Out[3]: True

In [4]: dfa['A'] /= 2
/usr/local/bin/ipython:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  #!/usr/local/bin/python
Run Code Online (Sandbox Code Playgroud)

您可以将is_copy标志设置为False有效关闭该对象的检查:

In [5]: dfa.is_copy = False

In [6]: dfa['A'] /= 2
Run Code Online (Sandbox Code Playgroud)

如果您明确复制,则不会再发出警告:

In [7]: dfa = df.ix[:, [1, 0]].copy()

In [8]: dfa['A'] /= 2
Run Code Online (Sandbox Code Playgroud)

OP在上面显示的代码,虽然合法,也可能是我做的事情,但在技术上是这种警告的情况,而不是误报.另一种没有警告的方法是通过reindex例如进行选择操作

quote_df = quote_df.reindex(columns=['STK', ...])
Run Code Online (Sandbox Code Playgroud)

要么,

quote_df = quote_df.reindex(['STK', ...], axis=1)  # v.0.21
Run Code Online (Sandbox Code Playgroud)

  • 我同意副本(); 它很清楚,它解决了我的问题(这是一个误报). (18认同)
  • 在更新为"0.16"之后,我看到更多误报,误报的问题是学会忽略它,即使有时它是合法的. (5认同)
  • @dashesy你错过了这一点.*有时*甚至*大多数*它可能会起作用.但是,例如,如果框架更大/更小,或者您添加一个列不同的dtype,它**不起作用,就会发生这种情况.这才是重点.你正在做一些*可能*工作但不保证的事情.这与弃用警告非常不同.如果你想继续使用它,它的工作原理很棒.但要预先警告. (3认同)
  • @Jeff现在有意义,所以这是一种"未定义"的行为.如果它应该抛出一个错误(为了避免在`C`中看到陷阱),因为`api`被冻结,警告的当前行为对于向后兼容性是有意义的.而且我会让他们把它们作为我的生产代码中的错误(`warnings.filterwarnings('error',r'SettingWithCopyWarning`)来捕获它们.同时使用`.loc`的建议有时也无济于事(如果它在一组). (3认同)
  • 我认为说存在误报是轻描淡写的。我不认为这个警告对我有帮助,而且它阻塞我的输出的次数是疯狂的。这也是一种糟糕的编程习惯:如果您开始忽略输出中的警告,因为您知道它们纯粹是垃圾,那么您可能会开始错过真正的问题。必须一直关闭相同的警告也很烦人。 (3认同)

cs9*_*s95 121

这篇文章适合读者,

  1. 想了解这个警告意味着什么
  2. 想了解抑制此警告的不同方法
  3. 想了解如何改进他们的代码并遵循良好做法以避免将来出现此警告.

建立

np.random.seed(0)
df = pd.DataFrame(np.random.choice(10, (3, 5)), columns=list('ABCDE'))
df
   A  B  C  D  E
0  5  0  3  3  7
1  9  3  5  2  4
2  7  6  8  8  1
Run Code Online (Sandbox Code Playgroud)

什么是SettingWithCopyWarning

要知道如何处理这个警告,重要的是要了解它的含义以及为什么它首先被提出.

过滤DataFrame时,可以对一个帧进行切片/索引以返回视图副本,具体取决于内部布局和各种实现细节.正如术语所暗示的,"视图"是原始数据的视图,因此修改视图可以修改原始对象.另一方面,"复制"是原始数据的复制,修改副本对原始数据没有影响.

正如其他答案所提到的那样,SettingWithCopyWarning创建了标记"链式赋值"操作.请考虑SettingWithCopyWarning上面的设置.假设您要选择"B"列中的所有值,其中"A"列中的值> 5.Pandas允许您以不同的方式执行此操作,其中一些更正确.例如,

df[df.A > 5]['B']

1    3
2    6
Name: B, dtype: int64
Run Code Online (Sandbox Code Playgroud)

和,

df.loc[df.A > 5, 'B']

1    3
2    6
Name: B, dtype: int64
Run Code Online (Sandbox Code Playgroud)

这些返回相同的结果,因此如果您只是读取这些值,则没有任何区别.那么,问题是什么?链式赋值的问题在于,通常很难预测是否返回了视图或副本,因此当您尝试返回值时,这很大程度上成为一个问题.要构建前面的示例,请考虑解释器如何执行此代码:

df.loc[df.A > 5, 'B'] = 4
# becomes
df.__setitem__((df.A > 5, 'B'), 4)
Run Code Online (Sandbox Code Playgroud)

只需一次df通话即可__setitem__.OTOH,请考虑以下代码:

df[df.A > 5]['B'] = 4
# becomes
df.__getitem__(df.A > 5).__setitem__('B", 4)
Run Code Online (Sandbox Code Playgroud)

现在,根据是df返回视图还是复制,__getitem__操作可能无效.

通常,您应该使用__setitem__基于标签的赋值,以及loc基于整数/位置的赋值,因为规范保证它们始终在原始操作上运行.此外,要设置单个单元格,您应该使用ilocat.

更多信息可以在文档中找到.

注意完成的
所有布尔索引操作iat也可以使用loc.唯一的区别是iloc期望索引的整数/位置或布尔值的numpy数组,以及列的整数/位置索引.

例如,

df.loc[df.A > 5, 'B'] = 4
Run Code Online (Sandbox Code Playgroud)

可以写成nas

df.iloc[(df.A > 5).values, 1] = 4
Run Code Online (Sandbox Code Playgroud)

和,

df.loc[1, 'A'] = 100
Run Code Online (Sandbox Code Playgroud)

可以写成

df.iloc[1, 0] = 100
Run Code Online (Sandbox Code Playgroud)

等等.


告诉我如何压制警告!

考虑对"A"列的简单操作iloc.选择"A"并除以2将引发警告,但操作将起作用.

df2 = df[['A']]
df2['A'] /= 2
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/IPython/__main__.py:1: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

df2
     A
0  2.5
1  4.5
2  3.5
Run Code Online (Sandbox Code Playgroud)

有几种方法可以消除此警告,如下所示.

做一个 df

df2 = df[['A']].copy(deep=True)
df2['A'] /= 2
Run Code Online (Sandbox Code Playgroud)


设置deepcopy
通过设置关闭对特定DataFrame的检查pd.options.mode.chained_assignment.

pd.options.mode.chained_assignment = None
df2['A'] /= 2
Run Code Online (Sandbox Code Playgroud)


更改None
可以设置为"warn","raise""warn".None是默认值."raise"将完全抑制警告,SettingWithCopyError并将抛出一个loc,以防止操作通过.

class ChainedAssignent:
    def __init__(self, chained=None):
        acceptable = [None, 'warn', 'raise']
        assert chained in acceptable, "chained must be in " + str(acceptable)
        self.swcw = chained

    def __enter__(self):
        self.saved_swcw = pd.options.mode.chained_assignment
        pd.options.mode.chained_assignment = self.swcw
        return self

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = self.saved_swcw
Run Code Online (Sandbox Code Playgroud)


@Peter Cotton提出了一种非侵入式改变模式的好方法(参见本要点),只要需要设置模式,并在完成时将其重置回原始状态.

# some code here
with ChainedAssignent():
    df2['A'] /= 2
# more code follows
Run Code Online (Sandbox Code Playgroud)

用法如下:

with ChainedAssignent(chained='raise'):
    df2['A'] /= 2

SettingWithCopyError: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead
Run Code Online (Sandbox Code Playgroud)

或者,提出异常

df
       A  B  C  D  E
    0  5  0  3  3  7
    1  9  3  5  2  4
    2  7  6  8  8  1
Run Code Online (Sandbox Code Playgroud)

"XY问题":我做错了什么?

很多时候,用户试图寻找抑制此异常的方法,而不是完全理解为什么它首先被提出.这是XY问题的一个很好的例子,用户试图解决问题"Y",这实际上是更深层根问题"X"的症状.将根据遇到此警告的常见问题提出问题,然后将提供解决方案.

问题1
我有一个DataFrame

      A  B  C  D  E
0     5  0  3  3  7
1  1000  3  5  2  4
2  1000  6  8  8  1
Run Code Online (Sandbox Code Playgroud)

我想在col"A"> 5到1000中分配值.我的预期输出是

df.A[df.A > 5] = 1000         # works, because df.A returns a view
df[df.A > 5]['A'] = 1000      # does not work
df.loc[df.A  5]['A'] = 1000   # does not work
Run Code Online (Sandbox Code Playgroud)

错误的方法:

df.loc[df.A > 5, 'A'] = 1000
Run Code Online (Sandbox Code Playgroud)

正确使用方式df['D'][1]:

   A  B  C      D  E
0  5  0  3      3  7
1  9  3  5  12345  4
2  7  6  8      8  1
Run Code Online (Sandbox Code Playgroud)

问题2
这个问题与警告没有特别的关系,但是理解如何正确地进行这种特定操作以避免将来可能出现警告的情况是很好的.

我试图将单元格(1,'D')中的值设置为12345.我的预期输出是

df.loc[1, 'D'] = 12345
df.iloc[1, 3] = 12345
df.at[1, 'D'] = 12345
df.iat[1, 3] = 12345
Run Code Online (Sandbox Code Playgroud)

我尝试了不同的方法来访问这个单元格,例如 SettingWithCopyWarning.做这个的最好方式是什么?

您可以使用以下任何方法执行此操作.

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1
Run Code Online (Sandbox Code Playgroud)

问题3
我试图根据某些条件对值进行子集化.我有一个DataFrame

df2.loc[df2.C == 5, 'D'] = 123
Run Code Online (Sandbox Code Playgroud)

我想将"D"中的值分配给123,使"C"== 5.我试过了

df2 = df[df.A > 5]
Run Code Online (Sandbox Code Playgroud)

这似乎很好,但我仍然得到了 df2!我该如何解决?

这实际上可能是因为您的管道中的代码更高.你是df2从更大的东西创造的,比如

df2 = df[df.A > 5].copy()
# Or,
# df2 = df.loc[df.A > 5, :]
Run Code Online (Sandbox Code Playgroud)

?在这种情况下,布尔索引将返回一个视图,因此df2将引用原始.你需要做的是分配SettingWithCopyWarning一份副本:

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1
Run Code Online (Sandbox Code Playgroud)

要么,

df2.drop('C', axis=1, inplace=True)
Run Code Online (Sandbox Code Playgroud)

问题4
我试图将"C"列放在原位

df2 = df[df.A > 5]
Run Code Online (Sandbox Code Playgroud)

但是使用

np.random.seed(0)
df = pd.DataFrame(np.random.choice(10, (3, 5)), columns=list('ABCDE'))
df
   A  B  C  D  E
0  5  0  3  3  7
1  9  3  5  2  4
2  7  6  8  8  1
Run Code Online (Sandbox Code Playgroud)

投掷df2.为什么会这样?

这是因为copy()必须已经创建为来自其他切片操作的视图,例如

df[df.A > 5]['B']

1    3
2    6
Name: B, dtype: int64
Run Code Online (Sandbox Code Playgroud)

这里的解决方案是要么做dfloc,或使用SettingWithCopyWarning,如前.

  • PS:如果您的情况未包含在第 3 部分的问题列表中,请告诉我。我会修改我的帖子。 (14认同)
  • @cs95:您可以在尝试基于现有列的简单数学运算创建新列的情况下添加 XY 描述吗?如 df['new_col'] = df['old_col']/2 所示。其中“new_col”尚不存在。谢谢 (4认同)
  • 非常感谢!我总是在代码中使用“.loc”,因为我意识到“链式分配”问题,但我仍然时不时地遇到几乎随机的恼人的“SettingWithCopyWarning”。事实证明,我的问题就是你在“问题3”中所涵盖的内容。这花了我几个月的时间才意识到,所以也许应该在文档中更清楚地指出......无论如何,再次非常感谢! (3认同)

fir*_*ynx 39

熊猫数据帧复制警告

当你去做这样的事情时:

quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
Run Code Online (Sandbox Code Playgroud)

pandas.ix 在这种情况下,返回一个新的,独立的数据帧.

您决定在此数据框中更改的任何值都不会更改原始数据框.

这是大熊猫试图警告你的事情.


为什么.ix是个坏主意

.ix对象试图做不止一件事,对于任何读过干净代码的人来说,这是一种强烈的气味.

鉴于此数据框:

df = pd.DataFrame({"a": [1,2,3,4], "b": [1,1,2,2]})
Run Code Online (Sandbox Code Playgroud)

两种行为:

dfcopy = df.ix[:,["a"]]
dfcopy.a.ix[0] = 2
Run Code Online (Sandbox Code Playgroud)

行为一:dfcopy现在是一个独立的数据框架.改变它不会改变df

df.ix[0, "a"] = 3
Run Code Online (Sandbox Code Playgroud)

行为二:这会更改原始数据帧.


.loc改用

大熊猫开发人员认识到该.ix对象非常[推测性],因此创建了两个新对象,这有助于数据的加入和分配.(另一个.iloc)

.loc 更快,因为它不会尝试创建数据的副本.

.loc 用于修改现有的数据帧,这样可以提高内存效率.

.loc 是可预测的,它有一种行为.


解决方案

您在代码示例中所做的是加载包含大量列的大文件,然后将其修改为更小.

pd.read_csv功能可以帮助您解决很多问题,并且可以更快地加载文件.

所以不要这样做

quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
Run Code Online (Sandbox Code Playgroud)

做这个

columns = ['STK', 'TPrice', 'TPCLOSE', 'TOpen', 'THigh', 'TLow', 'TVol', 'TAmt', 'TDate', 'TTime']
df = pd.read_csv(StringIO(str_of_all), sep=',', usecols=[0,3,2,1,4,5,8,9,30,31])
df.columns = columns
Run Code Online (Sandbox Code Playgroud)

这只会读取您感兴趣的列,并正确命名.不需要使用邪恶的.ix物体做神奇的东西.

  • @ jf328 .iloc我想 (3认同)

mik*_*ajs 25

只是简单地说:

import pandas as pd
# ...
pd.set_option('mode.chained_assignment', None)
Run Code Online (Sandbox Code Playgroud)


use*_*854 13

在这里,我直接回答这个问题。怎么处理呢?

.copy(deep=False)切片后做一个。参见pandas.DataFrame.copy

等等,切片不返回副本吗?毕竟,这是警告消息要说的内容?阅读详细答案:

import pandas as pd
df = pd.DataFrame({'x':[1,2,3]})
Run Code Online (Sandbox Code Playgroud)

这给出了警告:

df0 = df[df.x>2]
df0['foo'] = 'bar'
Run Code Online (Sandbox Code Playgroud)

这不是:

df1 = df[df.x>2].copy(deep=False)
df1['foo'] = 'bar'
Run Code Online (Sandbox Code Playgroud)

这两个df0df1DataFrame对象,但一些关于他们是不同的,它使大熊猫打印的警告。让我们找出它是什么。

import inspect
slice= df[df.x>2]
slice_copy = df[df.x>2].copy(deep=False)
inspect.getmembers(slice)
inspect.getmembers(slice_copy)
Run Code Online (Sandbox Code Playgroud)

使用您选择的差异工具,您将看到,除了几个地址之外,唯一的实质区别是:

|          | slice   | slice_copy |
| _is_copy | weakref | None       |
Run Code Online (Sandbox Code Playgroud)

决定是否发出警告的方法是DataFrame._check_setitem_copy检查_is_copy。所以,你去。进行设置,copy使您的DataFrame不会_is_copy

建议使用警告.loc,但如果在上使用.loc该框架_is_copy,您仍会收到相同的警告。误导?是。烦人吗 你打赌 有帮助吗?可能在使用链接分配时。但是它不能正确检测链条分配,并且会随意打印警告。

  • 这个答案肯定值得获得一个单独的写作风格徽章。 (4认同)
  • 侦查得好。FWIW 我还发现“_is_copy”对于原始 df 来说是“None”,而对于切片来说是“weakref”。此外,切片上的“_is_copy()”返回原始 df 的所有行。但是 `_is_copy` 打印的引用与原始 df 的 id 不一样。切片是否会以某种方式复制?另外,我想知道浅拷贝是否会导致其他问题或使用较新版本的 pandas? (2认同)

Zil*_*t97 12

.apply()从我使用该.query()方法的预先存在的数据帧中分配新数据帧时,我遇到了这个问题。例如:

prop_df = df.query('column == "value"')
prop_df['new_column'] = prop_df.apply(function, axis=1)
Run Code Online (Sandbox Code Playgroud)

会返回这个错误。在这种情况下似乎可以解决错误的修复方法是将其更改为:

prop_df = df.copy(deep=True)
prop_df = prop_df.query('column == "value"')
prop_df['new_column'] = prop_df.apply(function, axis=1)
Run Code Online (Sandbox Code Playgroud)

但是,由于必须制作新副本,因此这效率不高,尤其是在使用大型数据帧时。

如果您正在使用该.apply()方法生成新列及其值,则解决错误且更有效的修复方法是添加.reset_index(drop=True)

prop_df = df.query('column == "value"').reset_index(drop=True)
prop_df['new_column'] = prop_df.apply(function, axis=1)
Run Code Online (Sandbox Code Playgroud)


jro*_*uie 8

这应该有效:

quote_df.loc[:,'TVol'] = quote_df['TVol']/TVOL_SCALE
Run Code Online (Sandbox Code Playgroud)


m-d*_*-dz 8

由于这个问题已经在现有答案中得到了充分的解释和讨论,我将仅使用(链接到文档示例)为上下文管理器提供一种简洁的pandas方法- 绝对不需要创建一个包含所有内容的自定义类dunder 方法和其他附加功能。pandas.option_context

首先是上下文管理器代码本身:

from contextlib import contextmanager

@contextmanager
def SuppressPandasWarning():
    with pd.option_context("mode.chained_assignment", None):
        yield
Run Code Online (Sandbox Code Playgroud)

然后是一个例子:

import pandas as pd
from string import ascii_letters

a = pd.DataFrame({"A": list(ascii_letters[0:4]), "B": range(0,4)})

mask = a["A"].isin(["c", "d"])
# Even shallow copy below is enough to not raise the warning, but why is a mystery to me.
b = a.loc[mask]  # .copy(deep=False)

# Raises the `SettingWithCopyWarning`
b["B"] = b["B"] * 2

# Does not!
with SuppressPandasWarning():
    b["B"] = b["B"] * 2
Run Code Online (Sandbox Code Playgroud)

值得注意的是,这两种方法都不会修改a,这对我来说有点令人惊讶,甚至浅 df 复制.copy(deep=False)也会阻止引发此警告(据我所知,浅复制至少也应该修改a,但事实并非如此。pandas魔法。)。


Rap*_*nns 7

为了消除任何疑问,我的解决方案是制作切片的深层副本而不是常规副本.这可能不适用,具体取决于您的上下文(内存约束/切片大小,性能下降的可能性 - 特别是如果副本发生在像我这样的循环中,等等......)

要清楚,这是我收到的警告:

/opt/anaconda3/lib/python3.6/site-packages/ipykernel/__main__.py:54:
SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame
See the caveats in the documentation:
http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy
Run Code Online (Sandbox Code Playgroud)

插图

我怀疑这个警告是因为我正在放在切片副本上的一列而引发的.虽然技术上并未尝试在切片的副本中设置值,但这仍然是对切片副本的修改.以下是我为确认怀疑所采取的(简化)步骤,我希望它能帮助我们这些试图理解警告的人.

示例1:删除原始列上的列会影响副本

我们已经知道了,但这是一个健康的提醒.这不是警告的内容.

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123


>> df2 = df1
>> df2

A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df1 affects df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    B
0   121
1   122
2   123
Run Code Online (Sandbox Code Playgroud)

可以避免对df1进行的更改影响df2

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

A   B
0   111 121
1   112 122
2   113 123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2
A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df1 does not affect df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    A   B
0   111 121
1   112 122
2   113 123
Run Code Online (Sandbox Code Playgroud)

示例2:删除副本上的列可能会影响原始列

这实际上说明了警告.

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123

>> df2 = df1
>> df2

    A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df2 can affect df1
# No slice involved here, but I believe the principle remains the same?
# Let me know if not
>> df2.drop('A', axis=1, inplace=True)
>> df1

B
0   121
1   122
2   123
Run Code Online (Sandbox Code Playgroud)

可以避免对df2进行的更改以影响df1

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2

A   B
0   111 121
1   112 122
2   113 123

>> df2.drop('A', axis=1, inplace=True)
>> df1

A   B
0   111 121
1   112 122
2   113 123
Run Code Online (Sandbox Code Playgroud)

干杯!


hug*_*own 7

我相信你可以避免整个问题:

return (
    pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    .rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    .ix[:,[0,3,2,1,4,5,8,9,30,31]]
    .assign(
        TClose=lambda df: df['TPrice'],
        RT=lambda df: 100 * (df['TPrice']/quote_df['TPCLOSE'] - 1),
        TVol=lambda df: df['TVol']/TVOL_SCALE,
        TAmt=lambda df: df['TAmt']/TAMT_SCALE,
        STK_ID=lambda df: df['STK'].str.slice(13,19),
        STK_Name=lambda df: df['STK'].str.slice(21,30)#.decode('gb2312'),
        TDate=lambda df: df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10]),
    )
)
Run Code Online (Sandbox Code Playgroud)

使用分配。从文档中:将新列分配给 DataFrame,返回一个新对象(副本),其中包含除新列之外的所有原始列。

请参阅 Tom Augspurger 关于 pandas 中方法链的文章:Modern Pandas (Part 2): Method Chaining


del*_*ica 7

有些人可能只想抑制警告:

class SupressSettingWithCopyWarning:
    def __enter__(self):
        pd.options.mode.chained_assignment = None

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = 'warn'

with SupressSettingWithCopyWarning():
    #code that produces warning
Run Code Online (Sandbox Code Playgroud)


小智 6

这个话题确实让Pandas感到困惑。幸运的是,它有一个相对简单的解决方案。

问题在于,并不总是清楚数据过滤操作(例如loc)是否返回DataFrame的副本或视图。因此,这种过滤后的DataFrame的进一步使用可能会造成混淆。

一个简单的解决方案是(除非您需要处理非常大的数据集):

每当需要更新任何值时,请始终确保在分配之前隐式复制DataFrame。

df  # Some DataFrame
df = df.loc[:, 0:2]  # Some filtering (unsure whether a view or copy is returned)
df = df.copy()  # Ensuring a copy is made
df[df["Name"] == "John"] = "Johny"  # Assignment can be done now (no warning)

Run Code Online (Sandbox Code Playgroud)


Cal*_*ate 6

这可能仅适用于 NumPy,这意味着您可能需要导入它,但我用于示例 NumPy 的数据对于计算来说并不是必需的,但您可以通过使用下面的一行代码来简单地停止此设置并显示复制警告消息:

np.warnings.filterwarnings('ignore')
Run Code Online (Sandbox Code Playgroud)

  • 这是最好的一个!谢谢。复制警告真的很烦人! (3认同)

Ste*_*han 5

如果您已将切片分配给变量并希望使用该变量进行设置,如下所示:

df2 = df[df['A'] > 2]
df2['B'] = value
Run Code Online (Sandbox Code Playgroud)

而你不想使用Jeff的解决方案,因为你的条件计算df2太长或者出于其他原因,那么你可以使用以下内容:

df.loc[df2.index.tolist(), 'B'] = value
Run Code Online (Sandbox Code Playgroud)

df2.index.tolist()返回 df2 中所有条目的索引,然后将其用于设置原始数据帧中的 B 列。


mus*_*bur 5

后续初学者问题/评论

也许是对像我这样的其他初学者的澄清(我来自 R,它的工作原理似乎有点不同)。以下看起来无害且功能强大的代码不断产生 SettingWithCopy 警告,我不知道为什么。我已经阅读并理解了“链式索引”的问题,但我的代码不包含任何内容:

def plot(pdb, df, title, **kw):
    df['target'] = (df['ogg'] + df['ugg']) / 2
    # ...
Run Code Online (Sandbox Code Playgroud)

但是后来,太晚了,我查看了调用 plot() 函数的位置:

    df = data[data['anz_emw'] > 0]
    pixbuf = plot(pdb, df, title)
Run Code Online (Sandbox Code Playgroud)

所以“df”不是一个数据框,而是一个以某种方式记住它是通过索引数据框创建的对象(那是一个视图吗?)这将使 plot()

 df['target'] = ...
Run Code Online (Sandbox Code Playgroud)

相当于

 data[data['anz_emw'] > 0]['target'] = ...
Run Code Online (Sandbox Code Playgroud)

这是一个链式索引。我做对了吗?

反正,

def plot(pdb, df, title, **kw):
    df.loc[:,'target'] = (df['ogg'] + df['ugg']) / 2
Run Code Online (Sandbox Code Playgroud)

修复。