有没有办法在异步中使用 youtube-dl

Question

我有一个应用程序，用于zmq与asyncio能够将视频下载youtube-dl到服务器的客户端进行通信。我尝试添加awaittoyoutube_dl的下载功能，但它给了我一个错误，因为它不是协程。我现在的代码只是看起来像这样：

import asyncio
import youtube_dl


async def networking_stuff():
    download = True
    while True:
        if download:
            print("Received a request for download")
            await youtube_to_mp3("https://www.youtube.com/watch?v=u9WgtlgGAgs")
            download = False
        print("Working..")
        await asyncio.sleep(2)


async def youtube_to_mp3(url):
    ydl_opts = {
        'format': 'bestaudio/best',
        'postprocessors': [{
            'key': 'FFmpegExtractAudio',
            'preferredcodec': 'mp3',
            'preferredquality': '192',
        }]
    }

    with youtube_dl.YoutubeDL(ydl_opts) as ydl:
        ydl.download([url])


loop = asyncio.get_event_loop()
loop.create_task(networking_stuff())
loop.run_forever()

这给出了以下输出：

Received a request for download
[youtube] u9WgtlgGAgs: Downloading webpage
[youtube] u9WgtlgGAgs: Downloading video info webpage
[youtube] u9WgtlgGAgs: Extracting video information
[youtube] u9WgtlgGAgs: Downloading MPD manifest
[download] Destination: The Cardigans - My Favourite Game “Stone Version”-u9WgtlgGAgs.webm
[download] 100% of 4.20MiB in 00:03
[ffmpeg] Destination: The Cardigans - My Favourite Game “Stone Version”-u9WgtlgGAgs.mp3
Deleting original file The Cardigans - My Favourite Game “Stone Version”-u9WgtlgGAgs.webm (pass -k to keep)
Working..
Working..
....
Working..
Working..

而我希望Working..消息也打印在youtube-dl的消息之间。我在这里遗漏了什么或者这是不可能的async/ await？是ffmpeg阻塞？如果是这样，我可以在async不转换为的情况下运行下载mp3还是使用线程的唯一方法？

Answer 1

你是对的，你不能简单地使任何函数异步。

\n\n

您的问题假设 youtube-dl 需要 ffmpeg 才能工作。这并不完全正确，它可以通过自己的方式下载各个流，据我所知 ffmpeg 仅用于将这些流（视频+音频+可能是字幕）复用到一个文件。

\n\n

如果您使用 ffmpeg，从性能的角度来看，没有太多优势，因为如果它是通过子进程使用的（最有可能的情况），那么至少会生成 1 个成熟的进程来执行工作。与子进程的交互也可以以非阻塞方式完成 \xe2\x80\x94 请参阅https://docs.python.org/3/library/asyncio-subprocess.html，但无论如何，如果您的代码为每个任务生成一个进程，在任何一种情况下都无法很好地扩展。

\n\n

否则，可能（并且有意义）分叉 youtube-dl 并进行更改，以便所有网络操作都基于 asyncio。这可能需要大量重构，但应该是可行的。

\n\n

关于您的代码：
\n首先，该函数youtube_to_mp3根本不是异步的，因为没有可以执行await \xe2\x80\xa6表达式的代码路径。如果从函数定义和中删除该单词，代码的含义根本不会改变。asyncawaitawait youtube_to_mp3("\xe2\x80\xa6

\n\n

其次，即使它是异步的，您也不会以允许“并行”执行的方式使用它。该关键字的真正含义是：此任务中的await控制流仅在等待的协程完成后才会继续。如果您需要“并行”运行多个协程，则不需要直接一一等待它们。有多种方法可以并行运行协程，例如，您可以使用https://docs.python.org/3/library/asyncio-task.html#asyncio.gather并等待生成的“组合”协程，如果所有任务同时已知（但它看起来不像你的情况），或者使用“即发即忘”方法（loop.create_task）。

\n