标签: queue

cron脚本充当队列还是cron的队列?

我打赌有人已经解决了这个问题,也许我正在使用错误的谷歌搜索条件来告诉我答案,但这是我的情况.

我有一个我想要运行的脚本,但我希望它只在预定时运行,一次只运行一个.(无法同时运行脚本)

现在粘性部分就是说我有一个名为"myhappyschedule"的表,它有我需要的数据和预定的时间.此表甚至可以同时具有多个计划时间,每个表都可以运行此脚本.所以基本上我需要每次脚本触发时都有一个队列,他们都需要等待每个脚本才能完成.(有时这可能需要一分钟才能让脚本有时执行很多分钟)

我正在考虑做的是创建一个脚本,每隔5分钟检查一次myhappyschedule并收集那些已调度的脚本,将它们放入队列,其中另一个脚本可以按顺序执行队列中的每个"作业"或事件.所有这一切听起来都很混乱.

为了做到这一点 - 我应该说我允许用户在myhappyschedule中安排事情而不是编辑crontab.

关于这个还能做什么?文件锁和脚本调用脚本?

sql queue cron

8
推荐指数
1
解决办法
896
查看次数

在C#中单独的线程上快速记录/记录数据

我们正在开发一种应用程序,可以连续从多个外部硬件设备读取数据.数据速率介于0.5MB - 10MB /秒之间,具体取决于外部硬件配置.

目前正在BackgroundWorker上读取外部设备.尝试使用相同的BackgroundWorker将获取的数据写入磁盘似乎不是一个好的解决方案,所以我们要做的是,将这些数据排队以写入文件,并使另一个线程将数据出列并写入一份文件.请注意,数据将有一个生产者和单个消费者.

我们正在考虑为此目的使用同步队列.但是我们认为这个轮子必须已经发明了很多次,所以我们应该向SO社区提出一些意见.

对于我们应该注意的事项的任何建议或意见将不胜感激.

c# queue file-io logging thread-safety

8
推荐指数
1
解决办法
2648
查看次数

使用LinkedBlockingQueue足够多线程java程序?

我有一个消费者和一个生产者,它从队列中添加和删除Item对象.如果我使用put()和take()方法.我还需要涵盖哪些线程安全问题?这类似于有界缓冲区问题,我只是想知道是否使用阻塞队列代替信号量或监视器的需要.Item对象本身可能需要同步(setter但getter不需要锁定),我是对的吗?最后,我不太确定如何测试它是否是线程安全的,因为我不能同时让两个线程调用,take()因为执行顺序是不确定的.有任何想法吗?谢谢.

java queue multithreading

8
推荐指数
1
解决办法
5107
查看次数

为什么sys/queue.h中的双向链表保持前一个下一个元素的地址?

我正在sys/queue.h从FreeBSD 学习,我有一个问题:

In sys/queue.h,LIST_ENTRY定义如下:

#define LIST_ENTRY(type)                        \
struct {                                \
    struct type *le_next;   /* next element */          \
    struct type **le_prev;  /* address of previous next element */  \
}
Run Code Online (Sandbox Code Playgroud)

为什么会维持之前的下一个元素的地址(struct type **le_prev),而不是简单地以前elment样struct type *le_prev?

c queue bsd struct doubly-linked-list

8
推荐指数
1
解决办法
1282
查看次数

我的iOS委托方法是否总是在主线程上返回?

这是一个"最佳实践"问题,我似乎无法在网上找到一个好的答案.我正在创建一个静态代码库,它提供了几种委托方法,用于进行反馈等.

库管理它自己的队列,所以下载的内容显然不是在主线程上完成的,但我的问题是我应该确保我的委托方法总是在主线程上调用,还是可以从排队的线程中调用它我在用?并依赖于使用该库的开发人员,如果他想在我的委托方法中进行UI更新,则检查他是否在主线程上?

干杯,山姆

queue delegates grand-central-dispatch ios

8
推荐指数
1
解决办法
1753
查看次数

Amazon SQS长轮询不返回所有邮件

我需要在1次读取中读取Amazon SQS队列中的所有消息,然后根据创建的时间戳对其进行排序并对其执行业务逻辑.

为了确保检查所有SQS主机的消息,我启用了长轮询.我这样做的方法是将队列的默认等待时间设置为10秒.(任何大于0的值都将启用长轮询).

但是,当我尝试读取队列时,它仍然没有给我所有的消息,我不得不做多次读取以获取所有消息.我甚至通过每个接收请求的代码启用长轮询,仍然无法正常工作.以下是我正在使用的代码.

AmazonSQSClient sqsClient = new AmazonSQSClient(new ClasspathPropertiesFileCredentialsProvider());
sqsClient.setEndpoint("sqs.us-west-1.amazonaws.com");
String queueUrl = "https://sqs.us-west-1.amazonaws.com/12345/queueName";
ReceiveMessageRequest receiveRequest = new ReceiveMessageRequest().withQueueUrl(queueUrl).withMaxNumberOfMessages(10).withWaitTimeSeconds(20);
List<Message> messages = sqsClient.receiveMessage(receiveRequest).getMessages();
Run Code Online (Sandbox Code Playgroud)

我在队列中有3条消息,每次运行代码时都得到不同的结果,有时候我得到所有3条消息,有时只有1条.可见性超时我设置为2秒,只是为了消除消息变得不可见的原因因为没有在阅读中看到它们.这是短轮询的预期行为.长轮询应该可以消除多个民意调查.我在这里做错了吗?

谢谢

java queue amazon-sqs amazon-web-services long-polling

8
推荐指数
1
解决办法
7680
查看次数

如何了解Laravel排队作业失败的原因?

情况

我正在使用Laravel Queues来处理大量的媒体文件,预计单个作业需要几分钟(最多只需要一个小时).

我正在使用Supervisor来运行我的队列,我一次运行20个进程.我的超级用户配置文件如下所示:

[program:duplitron-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/duplitron/artisan queue:listen database --timeout=0 --memory=500 --tries=1
autostart=true
autorestart=true
user=duplitron
numprocs=20
redirect_stderr=true
stdout_logfile=/var/www/duplitron/storage/logs/duplitron-worker.log
Run Code Online (Sandbox Code Playgroud)

在我duplitron-worker.log,我注意到Failed: Illuminate\Queue\CallQueuedHandler@call偶然出现,我想更好地了解究竟是什么失败.我的laravel.log文件中没有任何内容(通常会出现异常).

问题

有没有方便我的方法来了解导致我的工作失败的原因?

php queue laravel

8
推荐指数
1
解决办法
1万
查看次数

如何在使用队列时在tensorflow训练期间测试网络

我正在使用队列使用下面的代码将我的训练示例提供给我的网络,并且它正常工作.

但是,我希望每n次迭代能够提供一些测试数据,但我真的不知道应该如何进行.我应该暂时停止队列并手动提供测试数据吗?我应该创建另一个队列来测试数据吗?

编辑:这样做的正确方法是创建一个单独的文件,比如eval.py连续读取最后一个检查点并评估网络?这就是他们在CIFAR10示例中的做法.

batch = 128 # size of the batch
x = tf.placeholder("float32", [None, n_steps, n_input])
y = tf.placeholder("float32", [None, n_classes])

queue = tf.RandomShuffleQueue(capacity=4*batch,
                      min_after_dequeue=3*batch,
                      dtypes=[tf.float32, tf.float32],
                      shapes=[[n_steps, n_input], [n_classes]])
enqueue_op = queue.enqueue_many([x, y])
X_batch, Y_batch = queue.dequeue_many(batch)

sess = tf.Session()

def load_and_enqueue(data):
    while True:
        X, Y = data.get_next_batch(batch)
        sess.run(enqueue_op, feed_dict={x: X, y: Y})

train_thread = threading.Thread(target=load_and_enqueue, args=(data))
train_thread.daemon = True
train_thread.start()

for _ in xrange(max_iter):
    sess.run(train_op)
Run Code Online (Sandbox Code Playgroud)

queue training-data neural-network deep-learning tensorflow

8
推荐指数
1
解决办法
974
查看次数

我如何很好地解码Laravel失败的工作JSON

我应该如何解码和"美化"Laravel失败的工作有效载荷?

在我的数据库表中failed_jobs我有列有效负载,如下所示:

{"job":"Illuminate\\Queue\\CallQueuedHandler@call","data":{"commandName":"App\\Jobs\\createHostingOncPanel","command":"O:30:\"App\\Jobs\\createHostingOncPanel\":7:{s:10:\"\u0000*\u0000orderNo\";i:11;s:18:\"\u0000*\u0000hostingPackages\";s:45:\"[{\"domainName\":\"qwddqwd.io\",\"hostingType\":1}]\";s:7:\"\u0000*\u0000user\";O:45:\"Illuminate\\Contracts\\Database\\ModelIdentifier\":2:{s:5:\"class\";s:8:\"App\\User\";s:2:\"id\";i:1;}s:10:\"connection\";N;s:5:\"queue\";N;s:5:\"delay\";N;s:6:\"\u0000*\u0000job\";N;}"}}
Run Code Online (Sandbox Code Playgroud)

想把字符串json解码成可读的东西.

这是什么样的格式?:)

PS:这是一个Laravel 5.2版本

php queue laravel laravel-5.2

8
推荐指数
2
解决办法
3161
查看次数

并发队列性能不佳

我有两个主题.一种是从串行端口收集数据并将其放入一个数组中,然后将其添加到并发队列中.另一个线程是采用这些数组并实时绘制数据.每秒大约有150个数据包,每个50字节.我遇到的问题是,当它运行时,它消耗大约10%的CPU.这是一个非常快速的核心I7 Haswell.如果我在消费线程中添加Thread.Sleep(1),则CPU利用率降至1%.问题是如果我把它放在Thread.Sleep(2)然后数据包不再同步.所以这不是一个解决方案,如果它在较慢的计算机上运行,​​它可能无法正常工作.

代码很简单.这是生产者线程:

    static void FillQueue(byte[] buffer)
    {
        dataQueue.Enqueue(buffer);
    }
Run Code Online (Sandbox Code Playgroud)

这是消费者线程:

        while (continuePolling)
        {                
            Thread.Sleep(1); //if removed, there is 10% CPU utilization.  If higher then packet synchronization is lost.

            if (dataQueue.TryDequeue(out result))
            {
                ProcessPacket(result);
            }               
        }
Run Code Online (Sandbox Code Playgroud)

我发现这很难理解,因为ProcessPacket方法执行大约需要0.3毫秒,并且每秒调用大约10秒.

我现在尝试使用阻塞集合.这是制片人

 BlockingCollection<byte[]> dataQueue = new BlockingCollection<byte[]>;

 public static void addData(buffer)
 {
      dataQueue.add(buffer);
 }
Run Code Online (Sandbox Code Playgroud)

这是消费者

 while (dataQueue.TryTake(out result)
 {
     ProcessPacket(result);
 }
Run Code Online (Sandbox Code Playgroud)

完全没有区别!它使用10%的CPU,如果我添加一个Thread.Sleep(1)是好的,但Thread.Sleep(2)和我丢失的数据包我得不到它.每个数据包中有50个字节.而已.它们的消耗速度和生产速度一样快.谢谢

.net c# queue concurrency multithreading

8
推荐指数
1
解决办法
3409
查看次数