我一直在体验真实生产环境中消息传递系统的优点和缺点,我必须承认,每次任何其他形式的消息传递队列时,组织良好的表或表模式都会跳动,因为:
您对每种方法有何看法?
我正在使用Python开发一个相当大的项目,该项目需要将一个计算密集型后台任务卸载到另一个核心,这样主服务就不会变慢.当multiprocessing.Queue用于传递工作进程的结果时,我遇到了一些显然很奇怪的行为.为a threading.Thread和a 使用相同的队列进行multiprocessing.Process比较,线程工作得很好但是在将大项放入队列后进程无法加入.注意:
import threading
import multiprocessing
class WorkerThread(threading.Thread):
def __init__(self, queue, size):
threading.Thread.__init__(self)
self.queue = queue
self.size = size
def run(self):
self.queue.put(range(size))
class WorkerProcess(multiprocessing.Process):
def __init__(self, queue, size):
multiprocessing.Process.__init__(self)
self.queue = queue
self.size = size
def run(self):
self.queue.put(range(size))
if __name__ == "__main__":
size = 100000
queue = multiprocessing.Queue()
worker_t = WorkerThread(queue, size)
worker_p = WorkerProcess(queue, size)
worker_t.start()
worker_t.join()
print 'thread results length:', len(queue.get())
worker_p.start()
worker_p.join()
print 'process results length:', len(queue.get())
Run Code Online (Sandbox Code Playgroud)
我已经看到了,这工作得很好size = 10000 …
在我的网站中,用户可以在每次需要时更新他们的个人资料(手动),或者每天自动更新一次.
现在正在与芹菜一起分发这项任务.
但我有一个"问题":
每天,在自动更新中,作业将所有用户(+ -6k用户)放在队列中:
from celery import group
from tasks import *
import datetime
from lastActivityDate.models import UserActivity
today = datetime.datetime.today()
one_day = datetime.timedelta(days=5)
today -= one_day
print datetime.datetime.today()
user_list = UserActivity.objects.filter(last_activity_date__gte=today)
g = group(update_user_profile.s(i.user.auth.username) for i in user_list)
print datetime.datetime.today()
print g(user_list.count()).get()
Run Code Online (Sandbox Code Playgroud)
如果有人尝试进行手动更新,他们将进入队列并永远执行.
有没有办法将此手动任务设置为以piority方式运行?或专门为每个分离的队列:手动和自动?
我经常有一些代码应该按计划运行或作为带有一些参数的后台进程运行.常见的元素是它们在调度过程之外运行,但需要访问Rails环境(可能还有传入的参数).
有什么好办法组织这个以及为什么?如果您想使用特定的插件或gem,请解释为什么您觉得它很方便 - 不要只列出您使用的插件.
我今天花了很多时间研究无锁队列.我有一个多生产者,多个消费者的情况.为了测试,我使用Win32下的Interlocked SList实现了一个系统,它使我基于线程的高度基于任务的代码的性能翻了一番.不幸的是,我希望支持多个平台.在多个平台上联锁本身不是问题,我可以安全地假设我可以毫无问题地互锁.然而,实际的实施失去了我.
最大的问题似乎是您需要保证列表推送/弹出只使用一个互锁呼叫.否则你会留下空间让另一个线程夹入并搞砸了.我不确定微软的实现如何在幕后工作,并希望了解更多.
任何人都可以指出我有用的信息(平台和语言是非常无关紧要的)?
除此之外,我很想知道它是否可以实现无锁向量.这对我来说有很大的用处:)干杯!
编辑:阅读了草药的DDJ文章,我可以看到一个减少的锁定队列,它与我已经拥有的非常相似.但是我注意到最后有一些文件可以使用双重比较和交换(DCAS)操作进行真正的无锁队列.有没有人使用cmpxchg8b(或cmpxchg16b)实现队列?
我只是在这一点上思考(没有读过论文),但你可以使用这个系统同时更新头部和尾部指针,从而避免在2个原子操作之间跳过另一个线程的任何问题.但是你仍然需要获得下一个头指针来测试尾部指针,看看你是否刚刚修改了尾部.当另一个线程准备这样做时,你如何避免另一个线程更改此信息?这是如何以无锁方式实现的?或者我最好还是阅读一篇研究论文的难以理解的内容?;)
我有一个std::queue被包装为模板化的类来创建一个线程安全的队列.我有这个类的两个版本:一个存储值类型,一个存储指针类型.
对于指针类型,我在销毁时删除队列的元素时遇到问题.原因是我不知道如何安全地从队列中删除项目.
该参考状态(无思考力的,所以我想它实际上并没有状态的话)是从队列中删除元素的唯一方法是调用pop().该引用还表示pop()调用该项的析构函数.
好吧,这会导致我的指针类型出现问题,因为它们可能会或可能不会指向聚合.如果其中一个指向聚合,它们都会,但由于包装是模板化的,因此无法保证我们正在处理哪种类型(聚合或非聚合).
那么,当pop()调用析构函数时,会发生什么?如何确保删除所有内容并正确释放内存?
最后,我的解决方案是使用旧版本的GCC for ARM9.我无法控制这一点.我知道有些库有智能指针和容器可以在这里提供帮助,但它们对我来说是禁止的.
我想在多线程环境中使用QueueSender.
是QueueSender.send()线程安全的?
有人可以提供一些最简单的TAILQ使用示例,可以在Linux系统库中解释c,可以在Linux中使用gcc编译吗?
Okasaki描述了可以使用该类型在Haskell中实现的持久实时队列
data Queue a = forall x . Queue
{ front :: [a]
, rear :: [a]
, schedule :: [x]
}
Run Code Online (Sandbox Code Playgroud)
增量旋转保持不变量
length schedule = length front - length rear
Run Code Online (Sandbox Code Playgroud)
如果您熟悉所涉及的队列,则可以跳过本节.
旋转功能看起来像
rotate :: [a] -> [a] -> [a] -> [a]
rotate [] (y : _) a = y : a
rotate (x : xs) (y : ys) a =
x : rotate xs ys (y : a)
Run Code Online (Sandbox Code Playgroud)
它由智能构造函数调用
exec :: [a] -> [a] -> [x] -> Queue …Run Code Online (Sandbox Code Playgroud)