DeepPavlov elmo太慢了

Question

我尝试使用DeepPavlov库中的ELMO嵌入(ElmoEmbedder).它的工作速度非常慢,每100个仪表64秒.

我试图增加mini_batch_size,但它没有加速算法.

是否有可能加速ElmoEmbedder？

Answer 1

mini_batch_size 只有当你在GPU上运行模型时才会对性能产生重大影响.

如果您没有GPU,请尝试使用Google Colab.它为您提供免费访问GPU和TPU.

!pip install deeppavlov

from deeppavlov.deep import find_config
from deeppavlov.core.commands.infer import build_model
config_path = find_config('elmo_ru-wiki')
model = build_model(config_path, load_trained = True, download = True)
a = model(data)

别忘了启用GPU Edit->Notebook settings->Hardware accelerator