小编use*_*739的帖子

我目前正在将Pandas用于csv源文件大约600mb的项目.在分析过程中,我在csv中读取数据帧,对某些列进行分组并将一个简单函数应用于分组数据帧.我注意到我在这个过程中进入了Swap Memory,所以进行了一个基本的测试:

我首先在shell中创建了一个相当大的数据帧:

import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(3000000, 3),index=range(3000000),columns=['a', 'b', 'c'])

我定义了一个名为do_nothing()的无意义函数:

def do_nothing(group):
    return group

并运行以下命令:

df = df.groupby('a').apply(do_nothing)

我的系统有16GB的RAM并运行Debian(Mint).创建数据帧后,我使用了~600mb的RAM.一旦apply方法开始执行,该值就开始飙升.它在完成命令之前稳步爬升到7gb左右(!)并且恢复到5.4gb(而shell仍处于活动状态).问题是,我的工作需要做的不仅仅是'do_nothing'方法,因此在执行真正的程序时,我限制了16GB的RAM并开始交换,使程序无法使用.这是有意的吗？我不明白为什么Pandas需要7gb的RAM来有效地"do_nothing",即使它必须存储分组的对象.

有关导致此问题/如何解决问题的任何想法？

干杯,

.P

所以我有一个不使用数据库的Django项目('DATABASES'设置被注释掉了).我选择使用Django,因为我将来可能需要数据库功能.无论如何,我已经在这个项目上工作了几个月而没有任何问题.我正在运行Linux Mint,python manage.py runserver到目前为止使用该命令并没有遇到麻烦.

好吧,今天我启动了应用程序并启动了本地服务器没有任何问题.然后我尝试在浏览器中打开应用程序并收到相当可怕的错误消息:

Traceback (most recent call last):
  File "/home/peter/.virtualenvs/vis_it/lib/python3.3/site-packages/django/contrib/sessions/backends/base.py", line 170, in _get_session
    return self._session_cache
AttributeError: 'SessionStore' object has no attribute '_session_cache'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/home/peter/.virtualenvs/vis_it/lib/python3.3/site-packages/django/core/handlers/base.py", line 87, in get_response
    response = middleware_method(request)
  File "/home/peter/.virtualenvs/vis_it/lib/python3.3/site-packages/django/contrib/auth/middleware.py", line 34, in process_request
    if user and hasattr(user, 'get_session_auth_hash'):
  File "/home/peter/.virtualenvs/vis_it/lib/python3.3/site-packages/django/utils/functional.py", line 224, in inner
    self._setup()
  File "/home/peter/.virtualenvs/vis_it/lib/python3.3/site-packages/django/utils/functional.py", line 357, in _setup
    self._wrapped = self._setupfunc()
  File "/home/peter/.virtualenvs/vis_it/lib/python3.3/site-packages/django/contrib/auth/middleware.py", line …

我遇到了一个奇怪的问题。我正在编写一个简单的小应用程序，需要将一些内容发布回 django 视图。我正在遵循此处的指南：https : //docs.djangoproject.com/en/1.7/ref/contrib/csrf/设置 ajax 标头并在我的 js 中包含以下代码：

function getCookie(name) {
var cookieValue = null;
if (document.cookie && document.cookie != '') {
    var cookies = document.cookie.split(';');
    for (var i = 0; i < cookies.length; i++) {
        var cookie = jQuery.trim(cookies[i]);
        // Does this cookie string begin with the name we want?
        if (cookie.substring(0, name.length + 1) == (name + '=')) {
            cookieValue = decodeURIComponent(cookie.substring(name.length + 1));
            break;
        }
    }
}
return cookieValue;
}

var csrftoken = getCookie('csrftoken'); …