我打赌有人已经解决了这个问题,也许我正在使用错误的谷歌搜索条件来告诉我答案,但这是我的情况.
我有一个我想要运行的脚本,但我希望它只在预定时运行,一次只运行一个.(无法同时运行脚本)
现在粘性部分就是说我有一个名为"myhappyschedule"的表,它有我需要的数据和预定的时间.此表甚至可以同时具有多个计划时间,每个表都可以运行此脚本.所以基本上我需要每次脚本触发时都有一个队列,他们都需要等待每个脚本才能完成.(有时这可能需要一分钟才能让脚本有时执行很多分钟)
我正在考虑做的是创建一个脚本,每隔5分钟检查一次myhappyschedule并收集那些已调度的脚本,将它们放入队列,其中另一个脚本可以按顺序执行队列中的每个"作业"或事件.所有这一切听起来都很混乱.
为了做到这一点 - 我应该说我允许用户在myhappyschedule中安排事情而不是编辑crontab.
关于这个还能做什么?文件锁和脚本调用脚本?
我们正在开发一种应用程序,可以连续从多个外部硬件设备读取数据.数据速率介于0.5MB - 10MB /秒之间,具体取决于外部硬件配置.
目前正在BackgroundWorker上读取外部设备.尝试使用相同的BackgroundWorker将获取的数据写入磁盘似乎不是一个好的解决方案,所以我们要做的是,将这些数据排队以写入文件,并使另一个线程将数据出列并写入一份文件.请注意,数据将有一个生产者和单个消费者.
我们正在考虑为此目的使用同步队列.但是我们认为这个轮子必须已经发明了很多次,所以我们应该向SO社区提出一些意见.
对于我们应该注意的事项的任何建议或意见将不胜感激.
我有一个消费者和一个生产者,它从队列中添加和删除Item对象.如果我使用put()和take()方法.我还需要涵盖哪些线程安全问题?这类似于有界缓冲区问题,我只是想知道是否使用阻塞队列代替信号量或监视器的需要.Item对象本身可能需要同步(setter但getter不需要锁定),我是对的吗?最后,我不太确定如何测试它是否是线程安全的,因为我不能同时让两个线程调用,take()因为执行顺序是不确定的.有任何想法吗?谢谢.
我正在sys/queue.h从FreeBSD 学习,我有一个问题:
In sys/queue.h,LIST_ENTRY定义如下:
#define LIST_ENTRY(type) \
struct { \
struct type *le_next; /* next element */ \
struct type **le_prev; /* address of previous next element */ \
}
Run Code Online (Sandbox Code Playgroud)
为什么会维持之前的下一个元素的地址(struct type **le_prev),而不是简单地以前elment样struct type *le_prev?
这是一个"最佳实践"问题,我似乎无法在网上找到一个好的答案.我正在创建一个静态代码库,它提供了几种委托方法,用于进行反馈等.
库管理它自己的队列,所以下载的内容显然不是在主线程上完成的,但我的问题是我应该确保我的委托方法总是在主线程上调用,还是可以从排队的线程中调用它我在用?并依赖于使用该库的开发人员,如果他想在我的委托方法中进行UI更新,则检查他是否在主线程上?
干杯,山姆
我需要在1次读取中读取Amazon SQS队列中的所有消息,然后根据创建的时间戳对其进行排序并对其执行业务逻辑.
为了确保检查所有SQS主机的消息,我启用了长轮询.我这样做的方法是将队列的默认等待时间设置为10秒.(任何大于0的值都将启用长轮询).
但是,当我尝试读取队列时,它仍然没有给我所有的消息,我不得不做多次读取以获取所有消息.我甚至通过每个接收请求的代码启用长轮询,仍然无法正常工作.以下是我正在使用的代码.
AmazonSQSClient sqsClient = new AmazonSQSClient(new ClasspathPropertiesFileCredentialsProvider());
sqsClient.setEndpoint("sqs.us-west-1.amazonaws.com");
String queueUrl = "https://sqs.us-west-1.amazonaws.com/12345/queueName";
ReceiveMessageRequest receiveRequest = new ReceiveMessageRequest().withQueueUrl(queueUrl).withMaxNumberOfMessages(10).withWaitTimeSeconds(20);
List<Message> messages = sqsClient.receiveMessage(receiveRequest).getMessages();
Run Code Online (Sandbox Code Playgroud)
我在队列中有3条消息,每次运行代码时都得到不同的结果,有时候我得到所有3条消息,有时只有1条.可见性超时我设置为2秒,只是为了消除消息变得不可见的原因因为没有在阅读中看到它们.这是短轮询的预期行为.长轮询应该可以消除多个民意调查.我在这里做错了吗?
谢谢
情况
我正在使用Laravel Queues来处理大量的媒体文件,预计单个作业需要几分钟(最多只需要一个小时).
我正在使用Supervisor来运行我的队列,我一次运行20个进程.我的超级用户配置文件如下所示:
[program:duplitron-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/duplitron/artisan queue:listen database --timeout=0 --memory=500 --tries=1
autostart=true
autorestart=true
user=duplitron
numprocs=20
redirect_stderr=true
stdout_logfile=/var/www/duplitron/storage/logs/duplitron-worker.log
Run Code Online (Sandbox Code Playgroud)
在我duplitron-worker.log,我注意到Failed: Illuminate\Queue\CallQueuedHandler@call偶然出现,我想更好地了解究竟是什么失败.我的laravel.log文件中没有任何内容(通常会出现异常).
问题
有没有方便我的方法来了解导致我的工作失败的原因?
我正在使用队列使用下面的代码将我的训练示例提供给我的网络,并且它正常工作.
但是,我希望每n次迭代能够提供一些测试数据,但我真的不知道应该如何进行.我应该暂时停止队列并手动提供测试数据吗?我应该创建另一个队列来测试数据吗?
编辑:这样做的正确方法是创建一个单独的文件,比如eval.py连续读取最后一个检查点并评估网络?这就是他们在CIFAR10示例中的做法.
batch = 128 # size of the batch
x = tf.placeholder("float32", [None, n_steps, n_input])
y = tf.placeholder("float32", [None, n_classes])
queue = tf.RandomShuffleQueue(capacity=4*batch,
min_after_dequeue=3*batch,
dtypes=[tf.float32, tf.float32],
shapes=[[n_steps, n_input], [n_classes]])
enqueue_op = queue.enqueue_many([x, y])
X_batch, Y_batch = queue.dequeue_many(batch)
sess = tf.Session()
def load_and_enqueue(data):
while True:
X, Y = data.get_next_batch(batch)
sess.run(enqueue_op, feed_dict={x: X, y: Y})
train_thread = threading.Thread(target=load_and_enqueue, args=(data))
train_thread.daemon = True
train_thread.start()
for _ in xrange(max_iter):
sess.run(train_op)
Run Code Online (Sandbox Code Playgroud) 我应该如何解码和"美化"Laravel失败的工作有效载荷?
在我的数据库表中failed_jobs我有列有效负载,如下所示:
{"job":"Illuminate\\Queue\\CallQueuedHandler@call","data":{"commandName":"App\\Jobs\\createHostingOncPanel","command":"O:30:\"App\\Jobs\\createHostingOncPanel\":7:{s:10:\"\u0000*\u0000orderNo\";i:11;s:18:\"\u0000*\u0000hostingPackages\";s:45:\"[{\"domainName\":\"qwddqwd.io\",\"hostingType\":1}]\";s:7:\"\u0000*\u0000user\";O:45:\"Illuminate\\Contracts\\Database\\ModelIdentifier\":2:{s:5:\"class\";s:8:\"App\\User\";s:2:\"id\";i:1;}s:10:\"connection\";N;s:5:\"queue\";N;s:5:\"delay\";N;s:6:\"\u0000*\u0000job\";N;}"}}
Run Code Online (Sandbox Code Playgroud)
想把字符串json解码成可读的东西.
这是什么样的格式?:)
PS:这是一个Laravel 5.2版本
我有两个主题.一种是从串行端口收集数据并将其放入一个数组中,然后将其添加到并发队列中.另一个线程是采用这些数组并实时绘制数据.每秒大约有150个数据包,每个50字节.我遇到的问题是,当它运行时,它消耗大约10%的CPU.这是一个非常快速的核心I7 Haswell.如果我在消费线程中添加Thread.Sleep(1),则CPU利用率降至1%.问题是如果我把它放在Thread.Sleep(2)然后数据包不再同步.所以这不是一个解决方案,如果它在较慢的计算机上运行,它可能无法正常工作.
代码很简单.这是生产者线程:
static void FillQueue(byte[] buffer)
{
dataQueue.Enqueue(buffer);
}
Run Code Online (Sandbox Code Playgroud)
这是消费者线程:
while (continuePolling)
{
Thread.Sleep(1); //if removed, there is 10% CPU utilization. If higher then packet synchronization is lost.
if (dataQueue.TryDequeue(out result))
{
ProcessPacket(result);
}
}
Run Code Online (Sandbox Code Playgroud)
我发现这很难理解,因为ProcessPacket方法执行大约需要0.3毫秒,并且每秒调用大约10秒.
我现在尝试使用阻塞集合.这是制片人
BlockingCollection<byte[]> dataQueue = new BlockingCollection<byte[]>;
public static void addData(buffer)
{
dataQueue.add(buffer);
}
Run Code Online (Sandbox Code Playgroud)
这是消费者
while (dataQueue.TryTake(out result)
{
ProcessPacket(result);
}
Run Code Online (Sandbox Code Playgroud)
完全没有区别!它使用10%的CPU,如果我添加一个Thread.Sleep(1)是好的,但Thread.Sleep(2)和我丢失的数据包我得不到它.每个数据包中有50个字节.而已.它们的消耗速度和生产速度一样快.谢谢
queue ×10
c# ×2
java ×2
laravel ×2
php ×2
.net ×1
amazon-sqs ×1
bsd ×1
c ×1
concurrency ×1
cron ×1
delegates ×1
file-io ×1
ios ×1
laravel-5.2 ×1
logging ×1
long-polling ×1
sql ×1
struct ×1
tensorflow ×1