小编Ahm*_*DAL的帖子

Celery 动态工作流

我正在使用Celery版本3.1.17

通常情况下,你可以用像帆布模块,芹菜准备自己的静态工作流程chaingroupchord或者干脆linking tasks。您可以访问任何结果或任何任务属性,例如工作流中任何任务的任务 ID。您必须预先定义您的任务。

我通过在我的工作流中调用子任务来执行动态子任务。例如,我调用一个任务可能是一个画布模块,他们动态地决定逻辑并尝试根据该决定调用子任务。但是在该解决方案中,我的静态工作流任务和动态子任务之间没有父/子关系。我无法追踪他们。这真的很令人沮丧。这是我目前无法使用的方式;

class ParentTask(Task):
    def run(self, *args, **kwargs):
        SubTask().subtask(args=(1, 2), countdown=1).apply_async()

class SubTask(Task):
    def run(self, x, y, *args, **kwargs):
        return x+y

non_tracable_for_subtask_result = ParentTask().delay()
Run Code Online (Sandbox Code Playgroud)

我需要一个可以在我的工作流程中的任务中动态扩展的画布模块(组、和弦等)。我可以chord,group, etc.在运行时将新的子任务动态链接到我当前的工作流 ( ) 吗?我想要类似的东西;

// THIS CODE DOES NOT WORK, JUST TO EXPLAIN REQUIREMENT
class ParentTask(Task):
    def run(self, *args, **kwargs):
        count = get_count()
        sub_task=SubTask().subtask(args=(1, 2), countdown=1)
        for i in range(count):
            //It could be like. THIS PART WHAT I …
Run Code Online (Sandbox Code Playgroud)

python celery

5
推荐指数
1
解决办法
1098
查看次数

为什么我们需要dev分支?

我看到有些人使用dev旁边的分支master来开发环境.即使他们使用功能分支,他们也​​说有dev分支更好.我实际上没有听到合适的答案.即使有dev分支,仍然必须在推动之前完成工作.(http://nvie.com/posts/a-successful-git-branching-model/)

我真的不明白.毕竟我为什么需要开发分支.

  • 我使用master分支作为我的开发分支.
  • 我的任何撤消作品都在特色分支中.每当我完成功能分支中的工作时,我会将其合并到master中.
  • 任何时候我需要发布,我正在标记大师.
  • 如果我有测试,登台或preprod环境,我也有这些分支.

就这样.这个流程为我修复了一切.我认为没有任何理由有dev分支.

我想念什么案例?使用master开发环境有什么问题?你使用dev分支的情况如果你这样做?

git

5
推荐指数
2
解决办法
4037
查看次数

如何在Django中覆盖模型的__new__元类方法

我正在Django 1.6model inheritanceDjango一起使用.我想做的是,挂钩新课程.

它将在Python中完成,如,

class Meta(type):
    def __new__(cls, name, bases, newattrs):
        do_what_you_want_before()
        result= super(Meta, cls).__new__(cls, name, bases, newattrs)
        do_what_you_want_after()
        return result

class Foo:
    __metaclass__ = Meta

class SubFoo(Foo):
    pass
Run Code Online (Sandbox Code Playgroud)

初始化此部分代码时,__new__将调用自定义方法.

我怎么能在模型继承的Django中做到这一点.当您尝试使用Django模型执行此操作时,会出现以下错误:

TypeError: Error when calling the metaclass bases
    metaclass conflict: the metaclass of a derived class must be a (non-strict) subclass of the metaclasses of all its bases
Run Code Online (Sandbox Code Playgroud)

谢谢.

python django

4
推荐指数
1
解决办法
1273
查看次数

由于连接被拒绝,为什么YARN上的Spark应用程序因FetchFailedException而失败?

我正在使用spark version 1.6.3yarn version 2.7.1.2.3附带HDP-2.3.0.0-2557.因为我使用的HDP版本中的火花版本太旧了,我更喜欢远程使用另一个火花作为纱线模式.

这是我如何运行火花壳;

./spark-shell --master yarn-client
Run Code Online (Sandbox Code Playgroud)

一切似乎都很好,sparkContext初始化,sqlContext初始化.我甚至可以访问我的蜂巢表.但在某些情况下,当它尝试连接到块管理器时会遇到麻烦.

我不是专家,但我认为,当我在纱线模式下运行它时,块管理器正在我的纱线集群上运行.这对我来说似乎是一个网络问题,并且不想在这里问它.但是,在某些我无法弄清楚的情况下会发生这种情况.所以它让我觉得这可能不是网络问题.

这是代码;

def df = sqlContext.sql("select * from city_table")
Run Code Online (Sandbox Code Playgroud)

以下代码工作正常;

df.limit(10).count()
Run Code Online (Sandbox Code Playgroud)

但是大小超过10,我不知道,每次运行都会发生变化;

df.count()
Run Code Online (Sandbox Code Playgroud)

这引起了例外;

6/12/30 07:31:04 INFO MapOutputTrackerMaster: Size of output statuses for shuffle 2 is 157 bytes
16/12/30 07:31:19 WARN TaskSetManager: Lost task 0.0 in stage 5.0 (TID 8, 172.27.247.204): FetchFailed(BlockManagerId(2, 172.27.247.204, 56093), shuffleId=2, mapId=0, reduceId=0, message=
org.apache.spark.shuffle.FetchFailedException: Failed to connect to /172.27.247.204:56093
    at org.apache.spark.storage.ShuffleBlockFetcherIterator.throwFetchFailedException(ShuffleBlockFetcherIterator.scala:323)
    at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:300)
    at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:51) …
Run Code Online (Sandbox Code Playgroud)

hadoop-yarn apache-spark apache-spark-1.6

4
推荐指数
1
解决办法
8852
查看次数

关于删除Cascade Hibernate ManyToMany

我希望UserAcounts能够拥有许多UserGroup.并且所有组都可以有许多Users.And有一个连接表.我希望在删除useraccount时删除连接表中useraccount和usergroup之间的关联.

实际上我想使用"删除级联".在ManyToMany关系中,我不幸运行它.我已经尝试了很多东西,但我找不到解决方案.

注意:我只想在删除级联时删除Relation

是否有办法做到这一点?

这是我的hibernate类

@SuppressWarnings("serial")
@Entity
@Table(name = "USER_ACCOUNT")
public class UserAccount implements Serializable {

@Id
@Column(name = "ID")
@GeneratedValue
private Long id;

@Column(name = "NAME")
private String name;

@Column(name = "SURNAME")
private String surname;

@Column(name = "EMAIL")
private String email;

@Column(name = "USER_NAME")
private String username;

@Column(name = "PASSWORD")
private String password;

@Column(name = "ENABLED")
@Type(type = "yes_no")
private boolean enabled;

@Column(name = "ACCOUNT_NON_EXPIRED")
@Type(type = "yes_no")
private boolean accountNonExpired;

@Column(name = "CREDENTIALS_NON_EXPIRED")
@Type(type = "yes_no")
private boolean …
Run Code Online (Sandbox Code Playgroud)

hibernate hibernate-annotations

2
推荐指数
1
解决办法
5313
查看次数

Matplotlib热图,垂直底部标签

我想将热图的底部标签设为垂直.默认为水平.下面给出一个例子;

在此输入图像描述

有没有办法做到这一点?

谢谢!

python pyqt matplotlib pyqt4

2
推荐指数
1
解决办法
1129
查看次数

Django立即运行所有测试

我正在使用Django==1.7c2,我不想说要Django在我的项目中找到并运行所有测试.我刚刚创建了一个文件夹,__init__.pytests不是将所有文件放在tests.py中.这是我的文件结构;

my_project/apps/my_app/
??? __init__.py
??? tests
    ??? __init__.py
    ??? my_first_test.py
    ??? my_second_test.py
??? ....
??? ....
??? ....
Run Code Online (Sandbox Code Playgroud)

__init__.py的测试文件就像;

from my_first_test import *
from my_second_test import *
Run Code Online (Sandbox Code Playgroud)

我以为这最初Django会认出我test folder,但是当我只运行这个命令时;

python manage.py test
Run Code Online (Sandbox Code Playgroud)

Django没有运行的测试用例.

$ python manage.py test
Creating test database for alias 'default'...

----------------------------------------------------------------------
Ran 0 tests in 0.000s

OK
Destroying test database for alias 'default'...
Run Code Online (Sandbox Code Playgroud)

我必须在我的项目中运行特定应用程序的测试;

python manage.py test my_project.apps.my_app.tests
Run Code Online (Sandbox Code Playgroud)

结果;

----------------------------------------------------------------------
Ran …
Run Code Online (Sandbox Code Playgroud)

python django django-testing

2
推荐指数
1
解决办法
3247
查看次数

捕获任何DoesNotExist错误

我正在使用Django 1.7.通常你可以DoesNotExist在模型上捕获异常;

try:
   ...
except model.DoesNotExist, den:
   ...
Run Code Online (Sandbox Code Playgroud)

我想抓住任何DoesNotExist例外.我真的不想关心它的模型.实际上,我真的不知道哪个模型DoesNotExist通过代码片.我的意思是,我无法知道模型.

所以我必须以DoesNotExist某种方式捕获任何错误.

有没有办法捕获任何DoesNotExist错误Django

python django django-errors

2
推荐指数
1
解决办法
1672
查看次数