标签: python-internals

Python这里不重用内存吗?Tracemalloc 的输出是什么意思?

我创建了一个包含一百万个对象的列表int,然后用其负值替换每个对象。tracemalloc报告 28 MB 额外内存(每个新int对象 28 字节)。为什么?intPython 不会为新对象重用垃圾收集对象的内存吗?或者我误解了tracemalloc结果?为什么会提到这些数字,它们的真正含义是什么?

\n
import tracemalloc\n\nxs = list(range(10**6))\ntracemalloc.start()\nfor i, x in enumerate(xs):\n    xs[i] = -x\nprint(tracemalloc.get_traced_memory())\n
Run Code Online (Sandbox Code Playgroud)\n

输出(在线尝试!):

\n
(27999860, 27999972)\n
Run Code Online (Sandbox Code Playgroud)\n

如果我替换xs[i] = -x为x = -x(因此新对象而不是原始对象被垃圾收集),则输出仅仅是(56, 196)(尝试一下)。我保留/丢失这两个物品中的哪一个有什么区别?

\n

如果我循环两次,它仍然只报告(27992860, 27999972)(尝试一下)。为什么不是 56MB?第二次运行与第一次运行有何不同?

\n

python memory cpython python-internals tracemalloc

6
推荐指数
1
解决办法
786
查看次数

Python中的_tuple有用吗?

我阅读了collections.namedtuple今天的官方文档并_tuple在__new__方法中找到了.我没有找到_tuple定义的位置.

您可以尝试在Python中运行下面的代码,它不会引发任何错误.

>>> Point = namedtuple('Point', ['x', 'y'], verbose=True)
class Point(tuple):
    'Point(x, y)'

    __slots__ = ()

    _fields = ('x', 'y')

    def __new__(_cls, x, y):
        'Create a new instance of Point(x, y)'
        return _tuple.__new__(_cls, (x, y)) # Here. Why _tuple?
Run Code Online (Sandbox Code Playgroud)

更新:有什么好处

from builtins import property as _property, tuple as _tuple
Run Code Online (Sandbox Code Playgroud)

是不是只是为了让tuple是一个受保护的价值?我对吗?

python namedtuple python-internals

5
推荐指数
1
解决办法
290
查看次数

在python 2.7中从包导入名称,子模块或子包的优先级是什么?

在官方的Python 2教程中,它说:

请注意,当从a_package导入an_item使用时,该项可以是包的子模块(或子包),也可以是包中定义的其他名称,如函数,类或变量.

那么如果a_package有一个名为的子包an_item,一个名为的变量an_item和一个an_item同时命名的模块呢?什么是优先事项?我做了一个实验,结果表明优先级variable> subpackage> submodule,但我不知道这是否是Python导入功能如下在所有情况下的规范秩序.

python import python-2.7 python-internals

5
推荐指数
1
解决办法
354
查看次数

为什么collections.OrderedDict使用try和except来初始化变量?

下面是collectionsPython 2.7中模块的源代码.我对OrderedDict初始化__root变量的方式感到困惑.为什么使用它try和except,有必要吗?为什么不能只使用它

self.__root = root = []                     # sentinel node
root[:] = [root, root, None]
self.__map = {}
self.__update(*args, **kwds) 
Run Code Online (Sandbox Code Playgroud)

初始化self.__root?

非常感谢 ...

class OrderedDict(dict):
'Dictionary that remembers insertion order'
# An inherited dict maps keys to values.
# The inherited dict provides __getitem__, __len__, __contains__, and get.
# The remaining methods are order-aware.
# Big-O running times for all methods are the same as regular dictionaries.

# …
Run Code Online (Sandbox Code Playgroud)

python python-2.7 python-internals

5
推荐指数
1
解决办法
431
查看次数

python函数中的硬编码变量

有时,某些值/字符串在函数中是硬编码的.例如,在以下函数中,我定义了一个"常量"比较字符串并检查它.

def foo(s):
    c_string = "hello"
    if s == c_string:
        return True
    return False
Run Code Online (Sandbox Code Playgroud)

没有讨论太多关于为什么它的坏做到这一点,以及应如何在外部范围进行定义,我想知道幕后发生了什么时,它是这样定义的.
是否每次调用都会创建字符串?
如果不是字符串,"hello"那么它就是列表:( [1,2,3]或者如果重要的话,列表中包含可变内容的列表)会发生同样的情况吗?

python constants python-internals

5
推荐指数
1
解决办法
3743
查看次数

如何遍历ac扩展中的所有python对象?

我正在使用python 内存分析器,我使用以下方法收集python对象的大小:

sum(map(sys.getsizeof, gc.get_objects()))
Run Code Online (Sandbox Code Playgroud)

这是代码中最慢的部分 - 特别是gc.get_objects- 所以我决定加快速度并将其重写为交流扩展.问题是python c API无法访问gc模块所使用的内部数据gc.get_objects.

是否可以使用c API迭代所有对象,而无需调用昂贵的gc.get_objects?

python python-c-api python-internals

5
推荐指数
1
解决办法
207
查看次数

为什么在Python中关闭Sqlite3的游标

使用Python的sqlite3模块时关闭游标有什么好处吗?或者它只是DB API v2.0的工件,它可能只对其他数据库有用吗?

connection.close()释放资源是有道理的; 但是,目前还不清楚cursor.close()实际上是做什么的,无论它是实际释放某些资源还是什么都不做.它的文档是不明智的:

>>> import sqlite3
>>> conn = sqlite3.connect(':memory:')
>>> c = conn.cursor()
>>> help(c.close)
Help on built-in function close:

close(...)
    Closes the cursor.
Run Code Online (Sandbox Code Playgroud)

注意,这是一个完全不同的问题,为什么在查询sqlite数据库时需要创建游标?.我知道游标的用途.问题是关于cursor.close()方法实际执行的操作以及调用它是否有任何好处.

python sqlite cursor python-internals python-db-api

5
推荐指数
1
解决办法
1087
查看次数

为什么Exception将__str__代理到args?

为什么打印异常实例会打印值exc.args而不是exc直接表示?文档称之为便利,但实际上这实际上是一种不便.

无法区分*args和元组之间的区别:

>>> print(Exception(123, 456))
(123, 456)
>>> print(Exception((123, 456)))
(123, 456)
Run Code Online (Sandbox Code Playgroud)

无法可靠辨别类型:

>>> print(Exception('123'))
123
>>> print(Exception(123))
123
Run Code Online (Sandbox Code Playgroud)

和可爱的"隐形"例外:

>>> print(Exception())

>>> 
Run Code Online (Sandbox Code Playgroud)

您将继承哪个,除非您明确要求不:

>>> class MyError(Exception):
...     """an error in MyLibrary"""
...     
>>> print(MyError())

>>> 
Run Code Online (Sandbox Code Playgroud)

如果您忘记专门记录错误实例,这可能是一个真正的问题repr- 日志文件中的默认字符串表示具有不可逆转的丢失信息.

这种奇怪的实现的理由是Exception.__str__什么?据推测,如果用户想要打印,exc.args那么他们应该只打印exc.args?

python exception python-internals

5
推荐指数
1
解决办法
95
查看次数

为什么非函数可调用对象不绑定到类实例?

假设我们有一个要进行猴子补丁的类以及一些我们想对其进行猴子补丁的可调用对象。

class Foo:
  pass

def bar(*args):
  print(list(map(type, args)))

class Baz:
  def __call__(*args):
    print(list(map(type, args)))
baz = Baz()

def wrapped_baz(*args):
  return baz(*args)

Foo.bar = bar
Foo.baz = baz
Foo.biz = wrapped_baz

Foo().bar()  # [<class '__main__.Foo'>]
Foo().baz()  # [<class '__main__.Baz'>]
Foo().biz()  # [<class '__main__.Baz'>, <class '__main__.Foo'>]
Run Code Online (Sandbox Code Playgroud)

即使baz是可调用的,它也不会绑定到Foo()两个函数bar和的实例wrapped_baz。由于Python是鸭子式语言,因此给定可调用类型在对象机制的行为中起着举足轻重的作用,这似乎很奇怪。

并不是说包装可调用对象不一定是坏方法,还有其他方法可以将可调用对象适当地绑定到Foo实例吗?这是CPython实现的一个怪癖,还是语言规范的一部分描述了观察到的行为?

python methods class python-3.x python-internals

5
推荐指数
1
解决办法
67
查看次数

删除列表时,为什么IPython与CPython对内存的管理方式不同?

我最近了解到,当您在Python中删除列表时,该列表的引用会保存在数组中,并在初始化新列表时弹出。

我在常规解释器中运行了此命令:

l = [1,2,3]
l_id = id(l)
del l
g = [1,2,3]
id(g) == l_id # True
Run Code Online (Sandbox Code Playgroud)

正如预期的那样,我得到了正确的结果。

我在IPython解释器上尝试了相同的操作,但是得到了False。为什么会发生?是不是更好?

python版本:v3.7.0:1bf9cc5093

IPython版本:7.5.0

更新资料

它也发生在不同的列表中:

l = [1,2,3]
l_id = id(l)
del l
g = [1,2,3,4,5,6,7,8]
id(g) == l_id # True
Run Code Online (Sandbox Code Playgroud)

而且它总是发生的,不仅仅是获得相同参考的随机事件

更新2

我确实知道为什么发生这种情况,我只想知道为什么仅在纯python解释器上而不是在我的ipython上发生,以及哪种方法最适合内存管理

更新3

正如我可以解释的那些列表具有相同的ID的原因,我无法理解为什么它是ipython和python之间的区别。

查看List listobject.c的实现。

如我们所见,有一个称为的引用数组free_list。数组的值是被销毁的列表对象,以及numfree数组索引的计数。我们可以看到,如果删除的列表超过80个,则下一个列表将不会保存在数组中。因此,从这些代码行中我们可以说,对于任何新的python解释器,我的陈述始终是正确的。

但是我仍然找不到ipython这样工作的原因

python list ipython python-3.x python-internals

5
推荐指数
0
解决办法
186
查看次数