标签: queue

两阶段提交 - 如何有效地使用我的队列?

我要描述的内容实际上是两个不同系统之间的两阶段提交问题,我正在寻找有关如何处理它的建议.在我们的Web应用程序中,我们将一些昂贵的/第三方操作(例如发送电子邮件)卸载到带外后台工作进程(我们称之为我们的作业基础结构).

例如,要发送电子邮件,我们会在数据库中创建电子邮件对象和电子邮件作业.然后,我们必须等待我们的工作监视器获取电子邮件作业并发送它.作业监视器基本上通过在空闲时每隔几秒轮询一次数据库来工作.

但是,这会增加电子邮件发送的延迟,并通过轮询添加我在数据库中视为过度负载的内容.如果我们能够在创建电子邮件后立即将电子邮件作业放入队列,那将会更好.

然而,这目前失败有两个原因.首先,队列通常比Web请求快得多.在Web请求提交其数据库事务之前,将拾取电子邮件以进行处理,因此无法正确生成电子邮件.其次,如果Web请求失败,它将回滚其数据库事务,这意味着不应该发送电子邮件.但是,如果它已经被放入队列,则它不再在请求的控制之下.

在队列和数据库之间创建两阶段提交是否有良好的策略?作为参考,我们使用RabbitMQ和MySQL与InnoDB表.我提出的一个想法是在提交数据库事务后将电子邮件作业粘贴到队列中,但这样就可能使电子邮件永远不会排队.我仍然需要创建一个轮询流程来监视应该已发送但未发送的电子邮件.

queue transactions 2phase-commit

7
推荐指数
1
解决办法
1921
查看次数

更改优先级队列元素会导致求助队列吗?

我有一个priority_queue,我想修改它的一些内容(优先级值),那么队列会被使用吗?

这取决于它是否按下推/弹(更可能,因为你只需要"插入",而不是整体),或访问顶部或弹出时.

我真的想改变队列中的一些元素.像这样的东西:

priority_queue<int> q;

int a=2,b=3,c=5;
int *ca=&a, *cb=&b, cc=&c;

q.push(a);
q.push(b);
q.push(c); //q is now {2,3,5}

*ca=4;

//what happens to q?
// 1) {3,4,5}
// 2) {4,2,5}
// 3) crash
Run Code Online (Sandbox Code Playgroud)

c++ queue stl priority-queue

7
推荐指数
1
解决办法
8211
查看次数

使用Queue写入同一文件的Python多处理

我知道Stack Exchange上有很多关于将多处理结果写入单个文件的帖子,我在阅读了那些帖子之后开发了我的代码.我想要实现的是并行运行'RevMapCoord'函数,并使用multiprocess.queue将其结果写入一个文件中.但是我在排队工作时遇到了问题.我的代码:

def RevMapCoord(list):
    "Read a file, Find String and Do something"

def feed(queue, parlist):
    for par in parlist:
        print ('Echo from Feeder: %s' % (par))
        queue.put(par)
    print ('**Feeder finished queing**')

def calc(queueIn, queueOut):
     print ('Worker function started')
     while True:
         try:
             par = queueIn.get(block = False)
             res = RevMapCoord(final_res)
             queueOut.put((par,res))
         except:
             break

def write(queue, fname):
    fhandle = open(fname, "w")
    while True:
         try:
            par, res = queue.get(block = False)
            print >>fhandle, par, res
         except:
            break
    fhandle.close()


feedProc = Process(target = feed …
Run Code Online (Sandbox Code Playgroud)

python queue file-io multiprocessing

7
推荐指数
2
解决办法
8678
查看次数

MSMQ消息总是在同一台机器上延迟3分钟

我面临着一个非常令人费解的问题.我有一个Windows服务,它监视两个MSMQ队列的输入,并将消息发送到另一个MSMQ队列.尽管从服务的角度来看,发送操作似乎是即时的,但它实际上只需要消息三(3)分钟即可到达(如MSMQ MMC中的属性窗口所示).我一直在测试这个问题,没有别的东西在另一边听,所以我可以看到堆积的消息.这是服务发送消息的方式:

var proxyFactory = new ChannelFactory<IOtherServerInterface>(new NetMsmqBinding(NetMsmqSecurityMode.None)
{
    Durable = true,
    TimeToLive = new TimeSpan(1, 0, 0),
    ReceiveTimeout = TimeSpan.MaxValue
});

IOtherServerInterface server = this.proxyFactory.CreateChannel(new EndpointAddress("net.msmq://localhost/private/myqueue"));

var task = new MyTask() { ... };
using (TransactionScope scope = new TransactionScope(TransactionScopeOption.Required))
{
    server.QueueFile(task);
    scope.Complete();
}
Run Code Online (Sandbox Code Playgroud)

该服务在Windows Server 2008 R2上运行.我还在R1上测试了它并注意到了相同的行为.同样,一切都发生在同一台机器上.所有组件都部署在那里,所以我不认为它可能是一个网络问题.

编辑#1:

我打开了WCF诊断程序,我注意到的是非常奇怪的.MSMQ数据报确实正常写入.但是,在"消息被关闭"跟踪消息之后,没有任何事情发生.就好像服务正在等待某事发生.恰好3分钟后,当MSMQ消息到达时(根据MSMQ MMC),我看到另一条关于上一个活动的跟踪消息.我怀疑存在某种干扰.

让我为您提供有关服务如何运作的更多详细信息.有一个IIS应用程序从客户端接收任务并将它们放入MSMQ队列中.从那里,麻烦的服务(MainService)接收它们并开始处理它们.在某些情况下,需要另一个服务(AuxService)来完成任务,因此MainService会向AuxService发送一条消息(总是会延迟).AuxService有自己的收件箱队列,它接收MSMQ消息,一旦完成,它就会向MainService发送一条MSMQ消息.同时,将消息发送到AuxService的线程会一直等到它收到信号或者超时.有一个特殊队列,MainService在其中查找来自AuxServices的消息.当收到消息时,上述线程被唤醒并恢复其活动.

这是整个架构的代表:

  • IIS应用程序 - > Q1 - > MainService
  • MainService - > Q2 - > AuxService
  • AuxService - > Q3 - > MainService

尽管所有操作都标有OneWay,但我想知道从另一个MSMQ操作中启动MSMQ操作是否在某种程度上是非法的.鉴于经验证据,似乎就是这种情况.如果是这样,有没有改变这种行为?

编辑#2:

好吧,经过一些挖掘后,似乎WCF是罪魁祸首.我将MainService中的客户端代码和AuxService中的服务器代码都切换为直接使用MSMQ SDK,它按预期工作.我遇到的3分钟超时实际上是MainService放弃并认为AuxService失败的时间.因此,似乎由于某种原因,WCF拒绝执行发送,直到当前WCF活动退出.

这是设计还是错误?这种行为可以控制吗?

c# queue msmq delay

7
推荐指数
1
解决办法
563
查看次数

Azure服务总线统计/监控

我想创建一个显示Azure服务总线队列状态的仪表板,并显示"添加到队列中的消息","队列长度"和"已处理消息"等的历史记录.使用Azure管理门户,我可以看到大多数这些统计信息都是手动为每个队列

有没有办法通过其中一个API访问管理门户中显示的数据,因为我想将我们使用的队列数量中的数据合并到一个接口中.我徒劳无功,但我不想记录自己的统计数据,因为这似乎重做了微软已经执行过的任务.

目前使用REST API,我只能看到如何获取队列中当前消息的近似计数.

queue servicebus azure

7
推荐指数
1
解决办法
5785
查看次数

在使用Volley重试旧请求之前重新获得新令牌

我有一个使用Volley实现的简单身份验证系统.它是这样的:在登录时从服务器获取一个令牌 - >一小时后,这个令牌到期 - >当它到期时,我们会发现一个失败的API调用,所以我们应该(在重试时) - >获取一个新的当该呼叫失败然后 - >重试原始呼叫时令牌.

我已经实现了这个,并且令牌成功返回,但是因为我认为我对Volley RequestQueue做错了,原始请求在新的有效令牌能够被使用之前使用了所有它的重试.请参阅以下代码:

public class GeneralAPICall extends Request<JSONObject> {
public static String LOG_TAG = GeneralAPICall.class.getSimpleName();

SessionManager sessionManager; //instance of sessionManager needed to get user's credentials
private Response.Listener<JSONObject> listener; //the response listener used to deliver the response
private Map<String, String> headers = new HashMap<>(); //the headers used to authenticate
private Map<String, String> params; //the params to pass with API call, can be null

public GeneralAPICall(int method, String url, Map<String, String> params, Context context, …
Run Code Online (Sandbox Code Playgroud)

authentication queue token android-volley

7
推荐指数
1
解决办法
4845
查看次数

ZF2,Oracle,SlmQueueDoctrine,ClearObjectManagerStrategy无效

我有一个ZF2项目,具有以下配置.它使用的是Doctrine ORM和SlmQueue.由于SlmQueue不支持我们的命名约定和oracle数据库,因此我们定制了SlmQueueDoctrine.

我怀疑我的工作不是使用ClearObjectManagerStrategy,并且在执行单个作业之前不清除ObjectManager.

它在队列启动后不反映数据库修改.但是如果我杀死队列守护进程并重新开始,它会选择新的值.

如何在执行单个作业之前实现ClearObjectManagerStrategy并清除ObjectManager?

我试过很多没有运气的人.

composer.json

{
    "repositories": [
        {
            "url": "https://github.com/pradeep-sanjaya/doctrine-extensions.git",
            "type": "git"
        }
    ],
    "require": {
        "php": ">=5.3.3",
        "zendframework/zendframework": "2.3.3",
        "doctrine/doctrine-orm-module": "0.7.*",
        "pradeep-sanjaya/doctrine-extensions": "dev-master",
        "spoonx/sxmail": "1.4.*",
        "slm/locale": "dev-master",
        "imagine/Imagine": "0.6.*",
        "tecnick.com/tcpdf": "dev-master",
        "slm/queue": "0.4.*",
        "slm/queue-doctrine": "0.4.*"
    }
}
Run Code Online (Sandbox Code Playgroud)

配置/自动加载/ slm_queue.local.php

<?php
return array(
    'slm_queue' => array(
        'queue_manager' => array(
            'factories' => array(
                'doctrineQueue' => 'SlmQueueDoctrine\Factory\DoctrineQueueFactory'
            ),
        ),
        'job_manager' => array(
            'factories' => array(
                'Report\Job\Rank' => 'Report\Job\RankFactory',
            ),
            'shared' => array(
                'Report\Job\Rank' => false
            ),
        ),
        'queues' => …
Run Code Online (Sandbox Code Playgroud)

php oracle queue doctrine zend-framework2

7
推荐指数
1
解决办法
192
查看次数

在python中清空multiprocessing.queue(-1)的首选方法

我想拉出当前队列中的所有项目.还有另一个线程不断地将项目放在另一端,每个时期我想要获取当前队列中的所有项目.

有什么理由可以选择:

res = []
while q.qsize > 0 :
    res.append(q.get())
Run Code Online (Sandbox Code Playgroud)

要么

res = []
while True :
    try :
         res.append(q.get(block=False)) 
    except Queue.Empty :
         break
Run Code Online (Sandbox Code Playgroud)

现在文档明确指出qsize()> 0不会阻止队列在get上阻塞,但只有在多个线程可以从输出获取的情况下才是这样吗?

队列.qsize()返回队列的大致大小.注意,qsize()> 0不保证后续的get()不会阻塞,qsize()<maxsize也不保证put()不会阻塞.

这是否意味着第二种形式应该始终是首选?EAFP和所有这些?另外,调用q.qsize()有任何成本吗?是否会阻塞队列的另一端以便计算?

我想我已经谈过使用第二种形式,但对我来说似乎不那么干净.

python queue multiprocessing multiprocess python-multiprocessing

7
推荐指数
1
解决办法
919
查看次数

Laravel:运行队列:在Windows Azure Web App上持续监听

我对这个问题感到有点傻,但我似乎无法在互联网上找到这个问题的答案.搜索了几个小时后,我发现在linux服务器上你使用Supervisor在你的网站上连续运行"php artisan queue:listen"(有或没有守护进程)来处理推送到队列的作业.这一切都很好,但如果我想在Windows Azure Web应用程序上执行此操作,该怎么办?在搜索解决方案后,我发现:

  • 做一个chron工作,每分钟(或每X分钟)运行"php artisan队列:听",我真的不喜欢这个解决方案,并希望特别避免它,如果网站获得更多的流量;
  • 添加一个连续运行"php artisan queue:listen"的WebJob(这里的问题是我不知道如何编写WebJob的脚本......);

我想请大家帮忙知道哪些是正确的解决方案,如果有更好的解决方案,如果WebJob是最好的,我该如何为此编写脚本?提前致谢.

php queue azure laravel artisan

7
推荐指数
1
解决办法
4728
查看次数

记录在laravel队列作业中不起作用

我的supervisor/conf.d/myconf.conf文件中有以下设置:

[program:my-worker]    
process_name=%(program_name)s_%(process_num)02d    
command=php /var/www/html/artisan queue:work sqs --queue=my_queue_name --tries=3 --daemon    
autostart=true    
autorestart=true    
user=root    
numprocs=1    
redirect_stderr=true    
stdout_logfile=/var/www/html/storage/logs/mylogfile.log
Run Code Online (Sandbox Code Playgroud)

我已授予storage/logs/mylogfile.log文件的所有权限.无法弄清楚为什么它仍然没有记录,

queue logging jobs laravel-5

7
推荐指数
2
解决办法
2万
查看次数