小编Ric*_*ccB的帖子

Pandas - 巨大的内存消耗

从包含约 1500 万行(占用约 250 MB)的 pickle 加载数据帧后,我对其执行了一些搜索操作,然后就地删除了一些行。在这些操作期间,内存使用量猛增至 5 GB,有时甚至 7 GB,这很烦人,因为交换(我的笔记本电脑只有 8 GB 内存)。

关键是当操作完成时(即执行下面代码中的最后两行时),该内存不会被释放。所以 Python 进程仍然占用高达 7 GB 的内存。

知道为什么会这样吗?我正在使用 Pandas 0.20.3。

下面的最小示例。'data' 变量实际上有大约 1500 万行,但我不知道如何在这里发布它。

import datetime, pandas as pd

data = {'Time':['2013-10-29 00:00:00', '2013-10-29 00:00:08', '2013-11-14 00:00:00'], 'Watts': [0, 48, 0]}
df = pd.DataFrame(data, columns = ['Time', 'Watts'])
# Convert string to datetime
df['Time'] = pd.to_datetime(df['Time'])
# Make column Time as the index of the dataframe
df.index = df['Time']
# Delete the column time
df = df.drop('Time', …
Run Code Online (Sandbox Code Playgroud)

python memory dataframe pandas

5
推荐指数
1
解决办法
3032
查看次数

神经网络-深度自动编码器和堆叠式自动编码器之间的区别

免责声明:我也将此问题发布在CrossValidated上,但没有得到任何关注。如果不是这个地方,我很乐意将其删除。

据我了解,它们之间的唯一区别是两个网络的训练方式。深度自动编码器的培训方式与单层神经网络相同,而堆叠式自动编码器则采用贪婪的逐层方法进行培训。雨果·拉罗谢尔(Hugo Larochelle)在此视频的评论中证实了这一点。我想知道这是否是唯一的区别,是否有任何指针?

machine-learning neural-network autoencoder deep-learning

5
推荐指数
1
解决办法
1232
查看次数