小编luc*_*one的帖子

我有一个ipython/jupyter笔记本,我用NBviewer可视化.

如何隐藏NBviewer呈现的笔记本中的所有代码,以便仅显示代码输出(例如绘图和表格)和降价单元格？

我正在学习如何使用Python中threading的multiprocessing模块和并行运行某些操作并加快我的代码.

我发现这很难(可能因为我没有任何理论背景)来理解一个threading.Thread()对象和一个对象之间的区别multiprocessing.Process().

此外,我并不完全清楚如何实例化一个作业队列,并且只有4个(例如)它们并行运行,而另一个则在执行之前等待资源释放.

我发现文档中的示例清晰,但不是很详尽; 一旦我尝试使事情复杂化,我就会收到许多奇怪的错误(比如一种无法腌制的方法,等等).

那么,我什么时候应该使用threading和multiprocessing模块？

您能否将我链接到一些资源,解释这两个模块背后的概念以及如何正确使用它们来完成复杂的任务？

我想测量在Python程序中评估代码块所花费的时间,可能在用户CPU时间,系统CPU时间和已用时间之间进行分离.

我知道timeit模块,但是我有很多自编函数,在设置过程中传递它们并不容易.

我宁愿有一些可以使用的东西,如:

#up to here I have done something....
start_counting() #or whatever command used to mark that I want to measure
                   #the time elapsed in the next rows
# code I want to evaluate
user,system,elapsed = stop_counting() #or whatever command says:
                                      #stop the timer and return the times

用户和系统CPU时间不是必需的(虽然我想测量它们),但是对于经过的时间我希望能够做这样的事情,而不是使用复杂的命令或模块.

现在我几次读到反应式编程的闪亮的文档,但我不能正确理解之间的差异observeEvent和eventReactive.

文件说:

只要您想执行响应事件的操作,请使用observeEvent.(请注意,"重新计算值"通常不会被视为执行操作 - 请参阅eventReactive.)

....

使用eventReactive创建仅在响应事件时更新的计算值.这就像一个普通的反应式表达式,除了它忽略了来自其反应依赖的所有常见的失效;

在我试过的所有情况下,我发现使用observeEvent和之间没有区别eventReactive(无论我使用哪种功能,代码都能正常工作,对性能没有明显的影响).

你能帮我弄清楚两者之间的真正区别吗？理想情况下,我想举几个例子说明它们何时可以互换,哪一个observeEvent可以工作但不能eventReactive,反之亦然.

我创建了一个数据库"mydb",当使用lazyLoad("mydb")在工作区中导入(大)data.frames X和Y.我创建了"mydb"将X和Y放在一个环境中e并使用命令tools:::makeLazyLoadDB(e,"mydb")

现在我创建了第三个data.frame Z(相当大).

如何将其添加到"mydb"而不必重新创建X和Y的惰性对象？

我想停止跟踪某些分支机构.我设置跟踪使用git branch --set-upstream foo origin/foo.

我该如何撤消这个？

在R中如何获取文件夹中的文件列表,而不是目录中的文件列表？

我已经尝试使用dir(),list.files(),list.dirs()有不同的选择,但他们都不似乎工作.

在我的一个脚本中，我有类似的内容：

import logging
from joblib import Parallel, delayed

def f_A(x):
    logging.info("f_A "+str(x))

def f_B():
    logging.info("f_B")
    res = Parallel(n_jobs=2, prefer="processes")(delayed(f_A)(x) for x in range(10))


if __name__ == "__main__":
   logging.basicConfig(level=logging.INFO)
   f_B()

我希望当我运行python script.py类似的东西时：

INFO:root:f_B
INFO:root:f_A

显示在控制台中，而不是我看到：

INFO:root:f_B

f_A但没有显示任何信息。

我怎样才能f_A——以及最终从那里调用的函数——显示在日志中？

我认为问题是由于默认日志记录级别为“调试”，并且主进程不共享将级别传播给子进程。如果将脚本稍微修改为：

INFO:root:f_B
INFO:root:f_A

然后一切都会按预期进行。

我有一个.rmd文件,编织过程就好了.

我想在文档中运行所有块,以便我可以在我的R shell中探索结果.

在Rstudio中有一个选项来运行文档中的所有块,但我找不到在简单的R会话中实现相同效果的方法(在我的终端中打开).

有没有办法做到这一点？

我有一个由user_id和item_id组成的Hive表(用户已购买的项目的ID).我想获得购买第1项而不是第2项和第3项的所有用户的列表.

为此,我编写了简单的查询:

SELECT user_id, collect_set(item_id) itemslist FROM mytable
WHERE item_id in (1, 2)
GROUP BY user_id
HAVING -- what should I put here???

如您所见,我不知道如何检查数组itemslist是否包含1而不是2.

你怎么做到这一点？如果有更有效的方法,请告诉我两种(或更多)方法？