标签: python-internals

访问分配正在创建的对象的名称

我正在编写一些代码来确定分配对象的名称.这是一般调试工作,并进一步熟悉python内部.

我将它结构化为类装饰器,以便在可能的情况下,该类的所有实例都将记录其名称.代码相当长,所以除非被问到,否则我不会发布.一般技术如下

  1. __init__用代码装饰类的方法来做我想做的事

  2. 设置caller = inspect.currentframe().f_back并打开inspect.getframeinfo(caller).filename并发送给ast.parse.我没有在这里做任何错误检查,因为(1)这只是用于调试/分析/黑客攻击(2)这个确切的过程"刚刚"完成或代码不会运行.这有问题吗?

  3. 找到ast.Assignment导致当前正在执行的__init__方法运行的实例

  4. 如果len(assignment.targets) == 1那时左侧只有一个项目,我可以从中获取名称targets[0].id.在一个简单的形式a = Foo(),然后assignment.value是一个实例ast.Call.如果它是文字(例如列表),那么value将是该列表和保释,因为我感兴趣的对象没有被分配给名称.

确认这assignment.value.func是type(obj).__call__我感兴趣的对象的最佳方法是什么.我很确定我保证它"在某处"或者代码甚至不会运行.我只需要它在顶级.显而易见的事情是走它并确保它不包含任何内部调用.然后我保证我有名字.(我的推理是正确的,我不确定它的假设是否正确).这并不理想,因为如果我感兴趣Foo,这可能会导致我抛弃,a = Foo(Bar())因为我不知道是不是a = Bar(Foo()).

当然我可以检查,assignment.value.func.id但后来有人可以做Foobar = Foo或什么,所以我不想太依赖这个

任何帮助将不胜感激.一如既往,我对我可能忽略的任何其他建议或问题感兴趣.

另外,我真的很惊讶我只需要发明'python-internals'标签.

python python-internals

6
推荐指数
1
解决办法
298
查看次数

在Python中编写(而不是)全局变量

来自动态较少的C++,我在理解这个Python(2.7)代码的行为时遇到了一些麻烦.

注意:我知道这是糟糕的编程风格/邪恶,但我想了解它.

vals = [1,2,3]

def f():
    vals[0] = 5
    print 'inside', vals

print 'outside', vals
f()
print 'outside', vals
Run Code Online (Sandbox Code Playgroud)

此代码运行时没有错误,并f操纵(看似)全局列表.这与我之前的理解相反,即必须将函数中要操作(而不仅仅是读取)的全局变量声明为global ....

另一方面,如果我替换vals[0] = 5为vals += [5,6],UnboundLocalError除非我添加一个global vals,否则执行失败f.这也是我在第一种情况下预期会发生的事情.

你能解释一下这种行为吗?

为什么我可以vals在第一种情况下操纵?为什么第二种操作失败而第一种操作失败?

更新: 在评论中评论说vals.extend(...)没有global.这增加了我的困惑 - 为什么+=与来电不同extend?

python global-variables python-2.7 python-internals

6
推荐指数
1
解决办法
285
查看次数

调用保存在类属性中的函数:内置函数与普通函数的不同行为

使用以下脚本:

import time

class Foo(object):
    func = time.gmtime
    def go(self):
        return self.func(0.0)

print time.strftime('%Y', Foo().go())
Run Code Online (Sandbox Code Playgroud)

我得到以下输出:

1970
Run Code Online (Sandbox Code Playgroud)

但是,如果我稍作修改并换行time.gmtime:

import time

def tmp(stamp):
    return time.gmtime(stamp)

class Foo(object):
    func = tmp
    def go(self):
        return self.func(0.0)

print time.strftime('%Y', Foo().go())
Run Code Online (Sandbox Code Playgroud)

然后我收到以下错误:

Traceback (most recent call last):
  File "./test.py", line 13, in <module>
    print time.strftime('%Y', Foo().go())
  File "./test.py", line 11, in go
    return self.func(0.0)
TypeError: tmp() takes exactly 1 argument (2 given)
Run Code Online (Sandbox Code Playgroud)

显然它试图调用Foo.func就好像它是一个实例方法并self作为第一个参数传递.

两个问题:

  • 这两个time.gmtime和tmp是采取单一的说法,那么为什么两个脚本行为不同的功能呢? …

python python-2.7 python-internals

6
推荐指数
1
解决办法
475
查看次数

为什么GeneratorExit和StopIteration有不同的基类?

我正在看内置Python异常的层次,我注意到StopIteration并GeneratorExit有不同的基类:

BaseException
 +-- SystemExit
 +-- KeyboardInterrupt
 +-- GeneratorExit
 +-- Exception
      +-- StopIteration
      +-- StandardError
      +-- Warning
Run Code Online (Sandbox Code Playgroud)

或者在代码中:

>>> GeneratorExit.__bases__
(<type 'exceptions.BaseException'>,)
>>> StopIteration.__bases__
(<type 'exceptions.Exception'>,)
Run Code Online (Sandbox Code Playgroud)

当我转到每个例外的具体描述时,我可以阅读以下内容:

https://docs.python.org/2/library/exceptions.html#exceptions.GeneratorExit

例外GeneratorExit

调用生成器的close()方法时引发.它直接继承自BaseException而不是StandardError,因为它在技术上不是错误.

https://docs.python.org/2/library/exceptions.html#exceptions.StopIteration

例外StopIteration

由迭代器的next()方法引发,表示没有其他值.这是从Exception而不是StandardError派生的,因为这在其正常应用程序中不被视为错误.

这对我来说不是很清楚.两者在它们不通知错误的意义上是相似的,而是用于改变代码流的"事件".因此,它们在技术上不是错误,我理解它们应该与其余的异常分开......但为什么一个是子类,BaseException另一个是Exception?的子类.

一般来说,我一直认为Exception子类是错误的,当我写盲人try: except:(例如调用第三方代码)时,我总是试图捕捉Exception,但也许这是错误的,我应该抓住StandardError.

python exception-handling exception python-internals

6
推荐指数
1
解决办法
1082
查看次数

itertools.groupby的意外行为

这是观察到的行为:

In [4]: x = itertools.groupby(range(10), lambda x: True)

In [5]: y = next(x)

In [6]: next(x)
---------------------------------------------------------------------------
StopIteration                             Traceback (most recent call last)
<ipython-input-6-5e4e57af3a97> in <module>()
----> 1 next(x)

StopIteration: 

In [7]: y
Out[7]: (True, <itertools._grouper at 0x10a672e80>)

In [8]: list(y[1])
Out[8]: [9]
Run Code Online (Sandbox Code Playgroud)

预期的产出list(y[1])是[0,1,2,3,4,5,6,7,8,9]

这里发生了什么?

我观察到这一点cpython 3.4.2,但其他人已经看到了这个cpython 3.5和IronPython 2.9.9a0 (2.9.0.0) on Mono 4.0.30319.17020 (64-bit).

观察到的行为Jython 2.7.0和pypy:

Python 2.7.10 (5f8302b8bf9f, Nov 18 2015, 10:46:46)
[PyPy 4.0.1 with GCC 4.8.4] …
Run Code Online (Sandbox Code Playgroud)

python python-2.x python-itertools python-3.x python-internals

6
推荐指数
1
解决办法
711
查看次数

Python 3.3 C-API和UTF-8字符串

因此,Python 3.3引入了PEP 393,该方法更改了Python str对象(Unicode对象)的实现,以便在内部以内存有效的方式表示它们,同时仍然允许随机访问每个字符。这是通过扫描字符串中最大的Unicode代码点,然后根据最大的代码点的大小选择Unicode编码来完成的。这样,ASCII字符串每个字符仅需要1个字节,但是带有东亚(中文/日文/韩文)代码点的字符串则每个字符需要4个字节。从内存角度讲,这比以前的实现要高效得多,后者的实现总是每个字符使用2或4个字节,而与字符串中的实际代码点无关。

因此,我了解PEP 393的目的,但对于应该如何从UTF-8编码的C字符串创建Python Unicode对象的问题上,我感到非常困惑。str从UTF-8 C字符串创建Python 是非常常见的要求。实际上,它是如此普遍,以至于旧的(Python 3.3之前的版本)C-API具有完全用于此目的的功能:

PyObject* PyUnicode_FromStringAndSize(const char *u, Py_ssize_t size)
Run Code Online (Sandbox Code Playgroud)

此函数采用UTF-8 C字符串以及size参数,然后从该字符串创建Python Unicode对象。

但是,现在在PEP 393之后已不推荐使用此功能。但是,我仍然不确定确切要替换什么功能。

起初我以为我们可以使用新PyUnicode_FromKindAndData功能:

PyObject* PyUnicode_FromKindAndData(int kind, const void *buffer, Py_ssize_t size)
Run Code Online (Sandbox Code Playgroud)

此新函数采用一个"kind"参数,该参数指示输入缓冲区是UCS1,UCS2还是UCS4。基于该参数,它将创建一个新的紧凑型Python Unicode对象。因此,起初我以为那句话PyUnicode_FromKindAndData(PyUnicode_1BYTE_KIND, buf, size)基本上等于老话PyUnicode_FromStringAndSize。我当时想这PyUnicode_1BYTE_KIND意味着Python应该假定输入缓冲区是UTF-8字符串。但这似乎并非如此。UCS1是不一样的UTF-8,并PyUnicode_1BYTE_KIND似乎只是指示输入缓冲器具有每1个字节字符 -这是不一样的UTF-8,其是可变长度的,并且可以从每字符1至4个字节在任何地方。

那么,如何使用新的PEP 393 API从UTF-8 C字符串创建Python Unicode对象呢?

在阅读了文档和PEP 393本身之后,在我看来,唯一的方法是自己手动计算最大字符,然后调用PyUnicode_New。然后遍历新创建的字符串缓冲区,并基于maxchar 手动将UTF-8 C字符串中的每个代码点转换为正确的编码,并PyUnicode_WRITE在循环中复制每个字符。


... …

c python unicode python-c-api python-internals

6
推荐指数
1
解决办法
1213
查看次数

为什么检查isinstance(某事,Mapping)这么慢?

我最近比较的性能collections.Counter来sorted进行比较检查(如果有的迭代包含具有相同数量相同的元素),并同时的大迭代表现Counter一般优于sorted它的短iterables慢得多.

使用line_profiler的瓶颈似乎是isinstance(iterable, collections.Mapping)在-check Counter.update:

%load_ext line_profiler  # IPython
lst = list(range(1000))
%lprun -f Counter.update Counter(lst)
Run Code Online (Sandbox Code Playgroud)

给我:

Timer unit: 5.58547e-07 s

Total time: 0.000244643 s
File: ...\lib\collections\__init__.py
Function: update at line 581

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
   581                                               def update(*args, **kwds):
   601         1            8      8.0      1.8          if not args:
   602                                                       raise TypeError("descriptor 'update' of 'Counter' object "
   603                                                                       "needs an argument")
   604 …
Run Code Online (Sandbox Code Playgroud)

python python-internals

6
推荐指数
1
解决办法
3564
查看次数

迭代其元素时更新集合

当我尝试在迭代其元素时更新集合时,它的行为应该是什么?

我在各种场景中尝试过它并且它不会迭代迭代开始后添加的元素以及迭代期间删除的元素.如果我在迭代期间删除并放回任何元素,则会考虑该元素.什么是确切的行为,它是如何工作的?

这将打印字符串的所有排列:

def permutations(s):
    ans = []
    def helper(created, remaining):
        if len(created) == len(s):
            ans.append(''.join(created))
            return
        for ch in remaining:
            remaining.remove(ch)
            created.append(ch)
            helper(created, remaining)
            remaining.add(ch)
            created.pop()
    helper([], set(s))
    return ans
Run Code Online (Sandbox Code Playgroud)

这里的行为是不可预测的,有时e是打印的,有时则不是:

ab = set(['b','c','d'])
x = True
for ch in ab:
    if x:
        ab.remove('c')
        ab.add('e')
        x = False
    print(ch)
Run Code Online (Sandbox Code Playgroud)

在这里,我总是'c'只看到一次.即使第一个字符是'c':

ab = set(['b','c','d'])
x = True
for ch in ab:
    if x:
        ab.remove('c')
        ab.add('c')
        x = False
    print(ch)
Run Code Online (Sandbox Code Playgroud)

以及实现上述功能相同目标的另一种方法:

def permwdups(s):
    ans = …
Run Code Online (Sandbox Code Playgroud)

python iteration set python-internals

6
推荐指数
1
解决办法
3568
查看次数

是否可以恢复损坏的"实习"字节对象

众所周知,小bytes-objects是自动的CPython(类似于"实习" 实习生 -function为字符串).更正:正如@abarnert 所解释的,它更像是整数池而不是实习字符串.

是否可以通过让我们说"实验性"第三方库或者是重启内核的唯一方法来恢复被破坏的字节对象?

可以使用Cython功能(Cython> = 0.28)完成概念验证:

%%cython
def do_bad_things():
   cdef bytes b=b'a'
   cdef const unsigned char[:] safe=b  
   cdef char *unsafe=<char *> &safe[0]   #who needs const and type-safety anyway?
   unsafe[0]=98                          #replace through `b`
Run Code Online (Sandbox Code Playgroud)

或者@jfs建议ctypes:

import ctypes
import sys
def do_bad_things():
    b = b'a'; 
    (ctypes.c_ubyte * sys.getsizeof(b)).from_address(id(b))[-2] = 98
Run Code Online (Sandbox Code Playgroud)

显然,通过滥用C-功能,do_bad_things改变不可变的(或者CPython认为的)对象b'a',b'b'并且因为这个对象是实例bytes,我们可以看到事后发生的坏事:

>>> do_bad_things() #b'a' means now b'b'
>>> b'a'==b'b'  #wait for a surprise  
True
>>> …
Run Code Online (Sandbox Code Playgroud)

python cpython python-3.x python-internals

6
推荐指数
1
解决办法
123
查看次数

给定字典迭代器,获取字典

给定一个列表迭代器,您可以通过pickle协议找到原始列表:

>>> L = [1, 2, 3]
>>> Li = iter(L)
>>> Li.__reduce__()[1][0] is L
True
Run Code Online (Sandbox Code Playgroud)

给定dict迭代器,如何找到原始dict?我只能使用CPython实现细节(通过垃圾收集器)找到一种骇人听闻的方式:

>>> def get_dict(dict_iterator): 
...     [d] = gc.get_referents(dict_iterator) 
...     return d 
...
>>> d = {}
>>> get_dict(iter(d)) is d
True
Run Code Online (Sandbox Code Playgroud)

python dictionary iterator python-internals

6
推荐指数
1
解决办法
252
查看次数