标签: worker

我正在编写代码,只有当PC上没有人为活动时才需要运行,就像屏幕保护程序运行时一样.有关如何在Windows下的c ++中执行此操作的任何建议？

@talnicolas,只是使用未使用的资源,人们离开计算机多少次但是他们在另一个地方？

是否可以在Heroku上为Clojure webapp创建一个作业队列？我看到你可以做延迟工作并使用芹菜用于Rails和Django,Clojure有类似的东西吗？

我有一个Sidekiq工作者,旨在执行社交活动(例如:像Facebook上的页面).部分原因是需要知道所喜欢对象的URL.

幸运的是,通过Rails.application.routes.url_helpers在任何类或模块中包含对path/url helper方法的访问权限,Rails 3可以轻松访问特定于应用程序的路由.

我遇到的问题是我的Sidekiq工作人员无法访问我的默认网址/端口,尽管在我development.rb或我的工作室中有各种尝试来定义它们production.rb.

class Facebook::LikeRecipeWorker
  include Sidekiq::Worker
  include Rails.application.routes.url_helpers

  sidekiq_options queue: :facebook

  def perform(recipe_id, user_id)
    recipe = Recipe.find(recipe_id)
    user = User.find(user_id)

    if user.facebook_token
      api = Koala::Facebook::API.new(user.facebook_token)
      api.put_connections 'me', 'my_namespace:like', object: recipe_url(recipe)
    end
  end
end

当recipe_url方法访问时,ArgumentError会引发一条消息:

ArgumentError:缺少要链接的主机!请提供:host参数,设置default_url_options [:host],或将:only_path设置为true

我知道,我可以指定default_url_options为ActionController或ActionMailer在特定的环境配置文件,如:

config.action_mailer.default_url_options = { host: 'localhost', port: 3000 }
config.action_controller.default_url_options = { host: 'localhost', port: 3000 }

然而,这些(理所当然地)似乎对我的Sidekiq工人阶级没有影响.我该如何定义default_url_options这些类？

在重新发明轮子之前,我正在寻找满足这些要求的开源项目的指针.

• 如果没有太多的包袱(例如:扭曲依赖的迷宫),在erlang中实现虽然go或C是可能的.
• erlang中的端点或客户端(例如:我希望在执行作业时运行erlang代码.)
• 将作业分配给节点,并调用一些erlang函数来完成这些作业.
• 以某种方式坚持工作
• 没有主节点,没有单点故障
• 同质的建筑
• 管理可能备份的作业队列,而不会丢弃工作
• 一项工作不止一次是可以的
• 像Riak或Couchbase这样的操作配置文件(例如:启动一个节点,然后启动其他节点并指向它们.)

强烈偏爱轻量级的东西.在erlang中有很多过度的企业级解决方案,看起来他们需要花费很长时间来学习,因为我将从头开始重新创建这个(事实上,我基本上构建了一个解决这个问题的解决方案来回答某人另外在stackoverflow上的问题.我可以构建我所描述的内容,但这似乎是正好在erlang的设计中间的那些需求之一.)

我考虑过: - ejabbered - 更多的消息传递框架 - rabitmq - 理论上这样做,但每次我去他们的网站我都淹没在抽象的海洋中.它似乎准备好做所有事情.我甚至无法判断它是否有任何持久性.

编辑添加:这是使用储物柜进行分布式锁定的幻灯片.似乎它解决了问题的一个关键部分(如果想要自己推出.) http://www.slideshare.net/knutnesheim/locker-distributed-consistent-locking

进一步编辑: 我真的在寻找比RabbitMQ更轻量级的东西.我知道它可以做我想要的,但似乎学习它的成本与自己做的成本相当,最终定制解决方案将更接近我真正需要的.

如果我用-w 4带有内容的应用程序启动gunicorn

print 'hello'

它会打印四次'hello'.有没有办法以这样的方式协调它,只'hello'打印一个？我想在开始时做一些清理,我只想执行一次.

我有两个单独的应用程序在Heroku上运行,并指向同一个数据库,第一个负责user interface和第二个的admin interface,我使用sidekiq与redis后台作业处理,我增加了一个工人,我能够通过设置共享"的Redis服务器"环境变量指向相同的Redis提供Addon,现在我也想分享worker,因为添加额外的worker会花费两倍.

请建议,这是否可能？

我正在使用Apache Spark来运行机器学习算法和其他大数据任务.以前,我在同一台机器上使用运行spark master和worker的spark cluster standalone模式.现在,我添加了多个工作机器,由于防火墙严密,我必须编辑worker的随机端口.任何人都可以帮助如何更改随机火花端口,并告诉我究竟需要编辑什么配置文件？我读了spark文档,它说spark-defaults.conf应该配置,但我不知道如何配置这个文件,特别是改变spark的随机端口.

我最近开始致力于分布式计算,以提高计算速度.我选择了芹菜.但是,我对某些术语不太熟悉.所以,我有几个相关的问题.

来自Celery文档:

什么是任务队列？

...

Celery通过消息进行通信,通常使用经纪人在客户和工人之间进行调解.为了启动任务,客户端向队列添加消息,然后代理将该消息传递给工作者.

什么是客户(这里)？什么是经纪人？为什么通过经纪人传递消息？为什么Celery会使用后端和队列进行进程间通信？

当我通过发出命令执行Celery控制台时

celery worker -A tasks --loglevel=info --concurrency 5

这是否意味着Celery控制台是一个工作进程,它负责5个不同的进程并跟踪任务队列？当新任务被推入任务队列时,此工作人员是否将任务/作业分配给5个进程中的任何进程？

我刚刚在 Heroku 上支付了一个 Hobby 帐户。它说我最多可以有 7 个工人 dynos。如何打开多个测功机？

这是我的 Procfile：

web: node app.js
worker: node worker.js

我尝试使用以下命令扩展工人：

heroku ps:scale worker=3

但我收到此错误消息：

! Cannot update to more than 1 Hobby size dynos per process type. 

我正在使用 Kubeadm 在笔记本电脑的 Oracle Virtualbox 上安装 Kubernetes。一切正常，直到我在 Kuberenets Worker 节点上运行此命令以加入 Master 节点我在运行后收到错误

sudo kubeadm join 192.168.56.100:6443 --token 0i2osm.vsp2mk63v1ypeyjf     --discovery-token-ca-cert-hash sha256:18511321fcc4b622628dd1ad2f56dbdd319bf024740d58127818720828cc7bf0

错误

[preflight] Running pre-flight checks
        [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
error execution phase preflight: [preflight] Some fatal errors occurred:
        [ERROR DirAvailable--etc-kubernetes-manifests]: /etc/kubernetes/manifests is not empty
        [ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists
        [ERROR Port-10250]: Port 10250 is in use
        [ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists
[preflight] If you …