小编pra*_*688的帖子

这可能是一个非常简单的问题.但有没有简单的方法来衡量火花作业的执行时间(使用提交spark-submit)？

它将帮助我们根据输入数据的大小来分析火花作业.

编辑:我http://[driver]:4040用来监视我的工作,但是这个Web UI关闭了我的工作完成的那一刻.

我正在使用Python 3.5。

我正在使用 Shutil.move(src, dest) 在两个不同的文件系统之间移动文件。

据我了解，跨设备链接错误是由操作系统引发的，因为它无法跨两个不同的文件系统创建硬链接，这很好。

但根据文档，shutil.move 可以通过将文件复制到目标然后在源处删除来移动文件。

我的异常进一步说明该异常是由于在shutil.move源代码的第538行内部调用的os.rename造成的。

有人知道如何使 Shutil.move 工作吗？

我阅读了大量的帖子，表明 Shutil.move 肯定可以在两个文件系统之间复制文件，包括文档。

我在 SLES11 操作系统上使用 git 2.10。

当我在 shell 上发出“git diff”或“git log”时，我看到“Broken Pipe”错误。

当我执行其他 git 操作（例如“git status/push/pull/commit”或任何与此相关的操作）时，我没有看到这一点。

事实上，我很惊讶没有在 stackoverflow 上找到这个问题的解决方案，并且不得不问它！（或者我太笨了，无法问它，因为它很简单）

如果有人以前看过它，请告诉我。

普拉纳夫

我有一些关于 postgres 功能和事务如何工作的问题。

目前我的功能是这样的：

CREATE OR REPLACE FUNCTION test_function(some_id character varying)
    RETURNS character varying AS
$BODY$
BEGIN
    S1;
    S2;
    S3;
    .
    .
    Sn;
RETURN some_id;
END; $BODY$
LANGUAGE plpgsql VOLATILE
COST 100;

这些语句可以是INSERT，也可以是基于 的UPDATE普通SELECT查询some_id。正如我从 postgre文档中了解到的，此函数中的所有语句都作为单个事务执行并在 END 处提交。

我的问题是：

1. 如果可以说S1成功但S2 失败了，会S1承诺吗？
2. 我的理解是，之后的所有语句BEGIN都作为单个事务执行，对吗？
3. 在没有明确的COMMITbeforeEND并且所有语句都成功的情况下，无论 autocommit = on/off 是否都会提交事务？
4. 让我们说S1, S2, S3都是INSERT陈述。S1并且S2成功但S3失败， …

Logger我一直在尝试通过子类化来创建一个新类logging.Logger。Python版本是3.5

我的应用程序中有几个模块，并且仅在主模块中配置日志记录，在主模块中使用设置记录器类logging.setLoggerClass(...)

但是，当我从其他模块检索相同的 Logger 实例时，它仍然创建该类的新实例Logger，而不是我定义的子类实例。

例如我的代码是：

# module 1
import logging
class MyLoggerClass(logging.getLoggerClass()):
     def __init__(name):
         super(MyLoggerClass, self).__init__(name)

     def new_logger_method(...):
         # some new functionality

if __name__ == "__main__":
    logging.setLoggerClass(MyLoggerClass)
    mylogger = logging.getLogger("mylogger")
    # configuration of mylogger instance

# module 2
import logging
applogger = logging.getLogger("mylogger")
print(type(applogger))
def some_function():
     applogger.debug("in module 2 some_function")

当执行此代码时，我希望applogger模块 2 中的类型为MyLoggerClass。我打算使用它new_logger_method来实现一些新功能。

但是，由于结果applogger是类型logging.Logger，因此当代码运行时，它会抛出Loggerhas no attribute named new_logger_method。

有人遇到过这个问题吗？

预先感谢您的任何帮助！普拉纳夫

这是出于对python中heapq.py模块的nsmallest和nlargest方法的好奇。

我读它这里的文档。

文档没有说明它是如何在任何可迭代对象上执行的（nsmalles/nlargest）。

这可能是一个愚蠢的问题，但我是否可以假设这些方法在内部创建了一个可迭代数据结构的堆（可能正在使用“heapify”方法），然后返回 n 个最小/最大元素？

只是想证实我的结论。谢谢！