如何从磁盘加载 spark-nlp 预训练模型

Question

我从spark-nlpGitGub页面下载了一个.zip包含预训练 NerCRFModel的文件。zip 包含三个文件夹：embeddings、fields 和 metadata。

我如何将它加载到 Scala 中NerCrfModel以便我可以使用它？我是否必须将其放入 HDFS 或启动 Spark Shell 的主机中？我如何引用它？

Answer 1

您只需要提供包含您提到的文件夹的路径，

import com.johnsnowlabs.nlp.annotators.ner.crf.NerCrfModel
val path = "path/to/unziped/file/folder"
val model = NerCrfModel.read.load(path)
// use your model
model.setInputCols(someCol)
model.transform(yourData) // which contains 'someCol',

只要我记得，您可以将文件夹放在本地FS或分布式FS中，希望这对其他用户也有帮助！。

最好的，阿尔贝托。