ddx*_*ddx 2 python multithreading asynchronous azure azure-functions
我正在使用 Azure Functions 处理 ETL 项目，我从 blob 存储中提取数据，在 Python 和 Pandas 中转换数据，并使用 Pandas to_sql() 加载数据。我正在尝试通过使用 asyncio 和语言工作者来提高这个过程的效率。
我有点困惑，因为我的印象是 asyncio 使用一个线程工作，但是 Azure Functions 文档说，如果更改配置，您可以使用多种语言工作器，甚至不使用 async 关键字的方法也可以运行在线程池中。
这是否意味着如果我不使用 async 关键字，我的方法将使用语言工作者并发运行？我是否必须使用 asyncio 来使用语言工作者？
此外，文档说 Azure Functions 最多可以扩展到 200 个实例。如果最多只允许 10 名语言工作者，我如何扩展到这么多实例？
编辑：谢谢阿纳托利。只是为了澄清，如果我有一个带有以下代码的定时器触发器：
import azure.functions as func
from . import client_one_etl
from . import client_two_etl
def main(mytimer: func.TimerRequest) -> None:
client_one_etl.main()
client_two_etl.main()
如果我增加了语言工作者的数量，这是否意味着即使不使用client_one_etl.main()，client_two_etl.main()它们也会自动在单独的线程中运行asyncio？而如果client_two_etl.main()需要client_one_etl.main()在执行前完成，我需要使用async await防止它们并发运行吗？
对于单独的实例，如果client_one_etl.main()并且client_two_etl.main()不相互依赖，是否意味着我可以在一个 Azure Function 应用程序中将它们作为在它们自己的 VM 中运行的单独 .py 脚本执行？是否可以运行多个计时器触发器（__init__.py在各自的 VM 中为一个 Azure 函数调用多个脚本）？然后，所有脚本都需要在10分钟内完成，如果我增加functionTimeout了的host.json文件？
FUNCTIONS_WORKER_PROCESS_COUNT限制每个 Functions 主机实例的最大工作进程数。如果将其设置为 10，则每个主机实例最多可以同时运行 10 个 Python 函数。每个工作进程仍将在单个线程上执行 Python 代码，但现在您最多可以同时运行 10 个。您不需要使用 asyncio 来实现这一点。（话虽如此，有使用ASYNCIO以提高可扩展性和资源利用率正当理由，但你不具备做采取多种Python的工作进程的优势。）
200 个限制适用于每个 Function 应用程序的Functions 主机实例数。您可以将这些实例视为单独的 VM。FUNCTIONS_WORKER_PROCESS_COUNT 限制分别应用于它们中的每一个，这使并发线程总数达到 2000。
更新（回答其他问题）：
一旦您的函数调用在某个工作人员上开始，它将在该工作人员上运行直到完成。在此调用中，代码执行不会分发到其他工作进程或 Functions 主机实例，也不会以任何其他方式自动为您并行化。在您的示例中，client_two_etl.main()将在client_one_etl.main()退出后启动，并且将在同一个工作进程上启动，因此无论配置的限制如何，您都不会观察到任何并发（除非您在 中执行特殊操作client_*_etl.main()）。
当多个调用几乎同时发生时，这些调用可能会自动分配给多个工作人员，这就是上述限制适用的地方。从头到尾，每次调用仍然只在一个 worker 上运行。在你的榜样，如果你设法两次调用这个函数大约在同一时间，每次调用可以得到自己的工作，他们可以同时运行，但每次都会执行这两个client_one_etl.main()和client_two_etl.main()顺序。
另请注意，因为您在单个函数上使用计时器触发器，所以您根本不会遇到任何并发：按照设计，计时器触发器在前一次调用完成之前不会启动新的调用。如果你想要并发，要么使用不同的触发器类型（例如，你可以在定时器上放置一个队列消息，然后队列触发的功能可以自动扩展到多个worker），或者使用多个定时器触发器具有多个功能，就像你建议的那样。
如果你真正想要的是独立运行client_one_etl.main()和client_two_etl.main()同时，最自然的事情就是从不同的功能，在每一个单独的实现调用它们__init__.py有自己的触发，相同或不同功能的应用程序中。
functionTimeoutinhost.json应用于每个函数调用。因此，如果您的应用程序中有多个函数，则每次调用都应在指定的限制内完成。这并不意味着所有这些都应该在此限制内完成（如果我正确理解了您的问题）。
更新2（回答更多问题）：
@JohnT 请注意，我不是在谈论函数应用程序或___init___.py 脚本的数量。函数（由 描述___init___.py）是一个定义需要完成什么的程序。您可以为每个应用程序创建 10 个以上的函数，但不要这样做以增加并发性 - 这无济于事。相反，添加函数来分离逻辑独立和连贯的程序。函数调用是一个主动执行程序的过程，这就是我所说的限制适用的地方。您需要非常清楚函数和函数调用之间的区别。
现在，为了调用函数，您需要一个专用于此调用的工作进程，直到此调用完成。接下来，为了运行一个工作进程，你需要一台机器来承载这个进程。这就是 Functions 主机实例（不是 Functions 主机实例的非常准确的定义，但对于本次讨论而言已经足够了）。当以 Consumption 计划运行时，您的应用程序可以扩展到 200 个 Functions 主机实例，并且默认情况下每个实例都将启动一个工作进程（因为 FUNCTIONS_WORKER_PROCESS_COUNT = 1），因此您最多可以同时运行 200 个函数调用。增加 FUNCTIONS_WORKER_PROCESS_COUNT 将允许每个 Functions 主机实例创建多个工作进程，因此每个 Functions 主机实例最多可以处理 FUNCTIONS_WORKER_PROCESS_COUNT 个函数调用，
请注意，“可以向外扩展”并不一定意味着“将向外扩展”。有关更多详细信息，请参阅Azure Functions 规模和托管以及Azure Functions 限制。