小编Jun*_*hen的帖子

如何在python包中包含.pyx文件

我在我的包pyirt中使用了cython ,但是当我将它发布到pypi时,.pyx文件不包含在tar.gz中

我认为它必须与安装文件有关.但是,我找不到解决这个问题的方法.

python cython

7
推荐指数
1
解决办法
903
查看次数

Luigi未能完成require方法中列出的所有任务

假设我有一个具有以下依赖结构的任务

class ParentTask(luigi.Task):
    def requires(self):
        return [ChildTask(classLevel=x) for x in self.class_level_list]
    def run(self):
        yadayda
Run Code Online (Sandbox Code Playgroud)

子任务自行运行正常.父级正确检查所有子任务的完成状态.然而,当第一个子任务完成时,调度程序将父任务标记为已完成.以下消息:

   Scheduled 15 tasks of which:
* 3 ran successfully:
    - 1 CleanRecord(...)
    - 1 EstimateQuestionParameter(classLevel=6, qdt=2016-04-19, subject=english)
    - 1 GetLog(classLevel=6, qdt=2016-04-19, subject=english)
* 12 were left pending, among these:
    * 12 were left pending because of unknown reason:
        - 5 EstimateQuestionParameter(classLevel=1...5, qdt=2016-04-19, subject=english)
        - 5 GetLog(pool=None, classLevel=1...5, qdt=2016-04-19, subject=english)
        - 1 UpdateQuestionParameter(qdt=2016-04-19, lastQdt=2016-03-23, subject=english, isInit=False)
        - 1 UpdateQuestionParameterBuffer(qdt=2016-04-19, subject=english, src_table=edw.edw_behavior_question_record_exam_new)

This progress looks :) because …
Run Code Online (Sandbox Code Playgroud)

luigi

7
推荐指数
1
解决办法
950
查看次数

将值分配给Numpy数组中的不同索引位置

说我有一个阵列

np.zeros((4,2))

我有一个值列表[4,3,2,1],我想分配给以下位置:[(0,0),(1,1),(2,1),(3,0) ]

如果不使用for循环或展平数组,我该怎么做?

我可以使用花式索引来检索值,但不能分配它们.

======更新=========

感谢@hpaulj,我意识到原始代码中的错误是.

当我使用zeros_like启动数组时,它默认为int并截断值.因此,看起来我没有分配任何东西!

python arrays numpy

5
推荐指数
1
解决办法
7336
查看次数

如何在运行本地调度程序时创建 Luigi 依赖关系图

我已经在 luigi 框架内实现了一些任务,现在我想要可视化依赖关系图。

我的同事指示我通过以下方式开始 luigid

luigid mkdir -p luigi;--background --logdir luigi --state-path luigi/state --address 0.0.0.0 --port 32145
Run Code Online (Sandbox Code Playgroud)

之后,我可以在 chrome 浏览器 localhost:32145 中看到任务可视化工具

然后我运行 luigi 任务

python luigi_scheduler.py --local-scheduler
Run Code Online (Sandbox Code Playgroud)

luigi_scheduler 通过以下行运行任务

luigi.run(main_task_cls = someTaskA)
Run Code Online (Sandbox Code Playgroud)

然后我收到以下消息,任务完成。然而任务可视化器上什么也没有出现。

DEBUG: Checking if get_usr_activity_all() is complete
/usr/local/lib/python2.7/dist-packages/luigi/task.py:433: UserWarning: Task get_usr_activity_all() without outputs has no custom complete() method
warnings.warn("Task %r without outputs has no custom complete() method" % self)
INFO: Scheduled get_usr_activity_all() (PENDING)
DEBUG: Checking if get_usr_hw(n=33000) is complete
INFO: Scheduled get_usr_hw(n=33000) (DONE)
DEBUG: Checking if get_usr_login(n=33000) …
Run Code Online (Sandbox Code Playgroud)

python

4
推荐指数
1
解决办法
4678
查看次数

标签 统计

python ×3

arrays ×1

cython ×1

luigi ×1

numpy ×1