小编Rho*_*Phi的帖子

列出ipython和jupyter中的内存使用情况

我有一些(几乎十)gb的内存占用了ipython内核.我认为这是来自大型对象(矩阵,列表,numpy数组......)我可能在某些操作中产生,现在我不再需要了.

我想列出我定义的所有对象,并按内存占用情况对它们进行排序.有一个简单的方法吗?对于某些类型,有nbytes方法,但并非所有...所以我正在寻找一种通用的方法来列出我所做的所有对象和它们的内存占用.

python memory numpy ipython jupyter-notebook

31
推荐指数
1
解决办法
3万
查看次数

OS X 中 xattr 的最大大小

我想使用 xattr 将文件上的一些元数据直接存储在文件上。这些本质上是我在搜索文件时用于对文件进行分类的标签。我的目标是通过将更多信息与每个标签关联来扩展通常的 Mac OS X 标签,例如添加该标签的日期以及其他内容。

我正在考虑使用xattr -w. 我的第一个猜测是在这个 xattr 值中存储类似 JSON 的东西,但我想知道

1)我可以在 xattr 中存储的大小有哪些限制?(xattr 的 man 是 vauge,指的_PC_XATTR_SIZE_BITS是我在任何地方都找不到的东西)

2)将 JSON 格式的字符串存储为 xattr 有什么问题吗?

macos json xattr

3
推荐指数
1
解决办法
1836
查看次数

检查哪些ObjectID是在ray中完成的

我在射线中有一些远​​程函数提交用于计算。在使用它们之前,ray.get我想首先检查它们是否已完成,以便在它们计算时我可以继续做其他事情。

我也真的在考虑维护一本具有这种结构的字典

{
  { 'JSON of parameters used in the calculation': OBJECTid},
   ...
}
Run Code Online (Sandbox Code Playgroud)

这样我就可以定期阅读这本字典并收集已完成的 OBJECTid。为此,我需要询问任务管理器以了解 OBJECTid 是否已完成。

在这个页面上我似乎看到了有趣的函数,例如ray.objects()函数。然而,这似乎在我的笔记本中不可用,尽管我看到那里列出了许多其他功能,例如 、ray.init()ray.shutdown()。列出的所有功能Inspect the Cluster State似乎都丢失了,也许我错过了一些重要的步骤(导入?)

python parallel-processing ray

2
推荐指数
1
解决办法
1068
查看次数