标签: multiprocessing

如何始终从golang频道获取最新价值?

我开始使用Go,我现在正在编写一个简单的程序,它从传感器中读取数据并将其放入一个通道中进行一些计算.我现在的工作如下:

package main

import (
    "fmt"
    "time"
    "strconv"
)

func get_sensor_data(c chan float64) {
    time.Sleep(1 * time.Second)  // wait a second before sensor data starts pooring in
    c <- 2.1  // Sensor data starts being generated
    c <- 2.2
    c <- 2.3
    c <- 2.4
    c <- 2.5
}

func main() {

    s := 1.1

    c := make(chan float64)
    go get_sensor_data(c)

    for {
        select {
        case s = <-c:
            fmt.Println("the next value of s from the channel: " + strconv.FormatFloat(s, …
Run Code Online (Sandbox Code Playgroud)

parallel-processing concurrency channel multiprocessing go

-1
推荐指数
2
解决办法
1052
查看次数

多进程网络服务器与多线程网络服务器?

我想知道为什么我们更喜欢让 web 服务器多线程

而不是让它成为多进程网络服务器......

是不是因为遗留问题......

我想听听实际原因和理论原因

webserver multithreading multiprocessing

-2
推荐指数
1
解决办法
3515
查看次数

使用队列和多处理时出现死锁

我不明白多处理文档(python.org)的这一部分,我引述:

"将陷入僵局的一个例子如下:

from multiprocessing import Process, Queue

def f(q):
    q.put('X' * 1000000)

if __name__ == '__main__':
    queue = Queue()
    p = Process(target=f, args=(queue,))
    p.start()
    p.join()                    # this deadlocks
    obj = queue.get()
Run Code Online (Sandbox Code Playgroud)

"首先,它为什么会阻塞?更令人惊讶的是,当我在f的定义中使用一些小于1000000的值时,它可以正常工作(它适用于10,100,1000,10000,但不能使用100000).

非常感谢你的帮助 !

python multithreading multiprocessing python-multithreading python-multiprocessing

-2
推荐指数
1
解决办法
448
查看次数

ImportError:无法导入名称“池”

在运行multiprocessing.py时(以下文件的内容)

from multiprocessing import Pool

def f(x):
    return(x*x)

if __name__ == '__main__':
    with Pool(5) as p:
        print(p.map(f,[1,2,3]))
Run Code Online (Sandbox Code Playgroud)

我懂了 ImportError: cannot import name 'Pool'

我也尝试了在此给定的2个解决方案-python-ImportError:无法导入名称池,但不幸的是存在问题。

python multiprocessing

-2
推荐指数
1
解决办法
2245
查看次数

pypy 可能比默认编译器慢的可能原因

我正在为学校做这个项目,我应该让脚本运行得更快,因为它非常慢。在过去的几个月里,由于我无法访问实际的脚本,因此我正在测试我编写的虚拟脚本,该脚本执行相同的任务。为此,我发现 pypy 与多处理一起使我的脚本运行速度至少提高了 10 倍。因此,在访问实际脚本后,我对其应用了多重处理并使用 pypy 运行它。然而,令人惊讶的是,与不使用 pypy 相比,使用 pypy 运行的代码运行速度慢了 2 倍,而不是显示出任何性能改进。可能是什么原因?实际的脚本使用 numpy、pandas 等库,并进行数据库连接以将输出写入稍后由 Web 服务器访问的进程。与 pypy 相比,numpy 或 pandas 在常规编译器中的编译速度是否更快?如果不是,还有什么可以解释这一点?另外,也欢迎任何加快速度的建议:)

PS Multiprocessing 已经被应用,它只比原始代码快大约 40 秒,这还不够。

编辑:在代码中添加 这是一个脚本,用于生成谁与谁接触了多长时间以及在哪里 - 医院的接触者追踪。基本上,它应该做的是,它读取一个 csv 文件,其中包含传感器在不同时间的所有位置,然后有一种算法可以生成所有联系人并将其写入数据库以供网络获取稍后服务器。

代码如下。它非常长,可能是我没有早点发布的原因:)

def resampleData(_beaconDevice, _timeInterval, _locationPtsX, _locationPtsY, 数据库):

database.child("contact").child("progress").set(20)
beaconData = pd.DataFrame({'timestamp': _timeInterval, 'Device': _beaconDevice, 'Beacon Longtitude': _locationPtsX, 'Beacon Latitude': _locationPtsY})
beaconData.set_index('timestamp', inplace=True)
beaconData.index = pd.to_datetime(beaconData.index)
beaconData = beaconData.groupby('Device').resample('S')['Beacon Longtitude', 'Beacon Latitude'].mean().ffill()
return beaconData
Run Code Online (Sandbox Code Playgroud)

def processTwo(connectedDev、temp、devicelist、increment、_patentlist、_beaconData、_start、_end、_devlist、_scale、数据库、用户、_distance):

for numPatients, patientName in enumerate(_patientlist):
    timestamp = _beaconData.loc[patientName, :].index.tolist()
    patientX = _beaconData.loc[patientName, …
Run Code Online (Sandbox Code Playgroud)

python pypy numpy multiprocessing pandas

-2
推荐指数
1
解决办法
2068
查看次数

如何通过编程语言实现多处理?

我正在尝试开发一个简单的操作系统.到目前为止,我开发的所有程序都可以在一个处理器中运行.但是当我通过一个名为多处理系统的概念时,几乎所有的最新系统都基于这个概念,我有很多疑问.

首先,如何创建可在多处理器系统中运行的程序.它是硬件导向还是程序员特定的?

其次,我学习了并行编程语言,这在多处理系统中很有用,其中Java是一个但C不是.那么在C(Windows)中开发的操作系统如何才能实现多处理?

谢谢.

c assembly operating-system kernel multiprocessing

-3
推荐指数
2
解决办法
1216
查看次数

Mutex.Lock()如何知道要锁定哪些变量?

我是新手,所以请保持温柔。

因此,我已经在某些代码中使用互斥锁了几周了。我了解其背后的概念:锁定对特定资源的访问权限,与之交互(读或写),然后为其他人再次解锁。

我使用的互斥锁代码主要是复制粘贴调整。该代码可以运行,但是我仍在努力解决它的内部问题。到目前为止,我一直在结构中使用互斥锁来锁定该结构。今天,我发现了这个示例,这使我完全不清楚互斥锁实际上是在锁定什么。下面是一段示例代码:

var state = make(map[int]int)

var mutex = &sync.Mutex{}

var readOps uint64
var writeOps uint64

// Here we start 100 goroutines to execute repeated reads against the state, once per millisecond in each goroutine.
for r := 0; r < 100; r++ {
    go func() {
        total := 0
        for {
            key := rand.Intn(5)
            mutex.Lock()
            total += state[key]
            mutex.Unlock()
            atomic.AddUint64(&readOps, 1)

            time.Sleep(time.Millisecond)
        }
    }()
}
Run Code Online (Sandbox Code Playgroud)

这里让我感到困惑的是,互斥锁和应该锁定的值之间似乎没有任何联系。直到今天,我还认为互斥锁可以锁定特定的变量,但是看这段代码,似乎可以以某种方式将整个程序锁定为仅执行锁定下方的行,直到再次运行解锁为止。我想这意味着所有其他goroutine都会暂停片刻,直到再次运行解锁。由于代码已编译,因此我想它可以知道在lock()和之间访问了哪些变量unlock(),但是我不确定是否是这种情况。

如果所有其他程序都暂停片刻,这听起来不像是真正的多处理程序,那么我想我对所发生的事情没有很好的了解。

有人可以帮助我了解计算机如何知道应锁定哪些变量吗?

concurrency mutex multiprocessing go

-4
推荐指数
1
解决办法
72
查看次数