我正在计算群集上运行conda环境,其中每个"项目"的文件总数受到限制(最多200k个文件).我只创建了几个conda环境(用于Python 2.7的anaconda;在每个环境中安装了~200个python&R包;环境之间的高包重叠)并且已经达到了文件数限制.即使conda clean -a只使用一小部分文件也会被删除.我的conda环境中的一些python包(例如,boost)包含> 10k文件,而clean不会减少这个.
有没有办法大大减少作为conda环境的一部分存储的文件数量？
由于用户从不关闭旧笔记本电脑,我实验室服务器(Ubuntu)上的内存不断填满.我想更好地了解每个笔记本占用多少内存.我可以总结(粗略)每个用户运行的所有jupyter笔记本的内存使用情况,但我想得到每个笔记本的总内存使用量,以便我可以关闭那些特定的内存生成(或告诉其他用户关闭他/她的失败了.我很快将以下代码放在一起得到约.MEM.每个jupyter内核的使用情况,但我不知道如何将内核ID与特定笔记本关联.
import os
import pwd
import pandas as pd
UID = 1
EUID = 2
pids = [pid for pid in os.listdir('/proc') if pid.isdigit()]
df = []
for pid in pids:
try:
ret = open(os.path.join('/proc', pid, 'cmdline'), 'rb').read()
except IOError: # proc has already terminated
continue
# jupyter notebook processes
if len(ret) > 0 and 'share/jupyter/runtime' in ret:
process = psutil.Process(int(pid))
mem = process.memory_info()[0]
# user name for pid
for ln in open('/proc/%d/status' % int(pid)):
if ln.startswith('Uid:'):
uid = int(ln.split()[UID]) …我正在使用 Snakemake v 5.4.0，并且遇到了 temp() 的问题。在假设的场景中：
Rule A --> Rule B1 --> Rule C1
|
--> Rule B2 --> Rule C2
where Rule A generates temp() files used by both pathways 1 (B1 + C1) and 2 (B2 + C2).
如果我运行管道，由 RuleA 生成的 temp() 文件将在两个路径中使用后被删除，这正是我所期望的。但是，如果我随后想要重新运行 Pathway 2，则必须重新创建 RuleA 的 temp() 文件，这会触发整个管道的重新运行，而不仅仅是 Pathway2。对于长管道来说，这在计算上变得非常昂贵。除了不使用 之外，还有什么好方法可以防止这种情况发生吗temp()？在我的情况下，这需要很多 TB 的额外硬盘空间？
R 中的 phylo 对象可以具有内部节点标签 ( phylo_obj$node.label)，但许多 R 函数使用节点编号而不是节点标签。甚至 phylo 对象本身也使用节点号来描述边（phylo_obj$edge），并且似乎没有内部节点标签到这些用于的节点号的直接映射phylo_obj$edge。如何将节点标签（例如，“NodeA”或“Artiodactyla”）映射到节点编号（例如，250 或 212）？我找不到任何 R 函数，也找不到任何相关文档。
在我闪亮的应用程序中，我正在使用：
# server.R
output$out_table = DT::renderDataTable(
func_to_creat_dataframe(),
rownames= FALSE,
extensions = c('Buttons'),
options = list(
pageLength = 96,
lengthMenu = c(96, 384, 1536),
dom = 'Blfrtip',
buttons = c('copy', 'csv', 'excel', 'pdf', 'print')
)
)
# UI.R
DT::dataTableOutput('out_table')
...当我使用“Excel”按钮导出表格时，导出的表格在标题行正上方有一个“标题”行。此标题行由一个跨越整个标题的合并单元格组成。我该如何删除这个？此标题行会干扰文件的下游处理，并且完全没有必要，因此我不明白为什么它似乎是数据表文件导出按钮的默认值。