删除下载的tensorflow和pytorch（抱脸）模型

Question

我想从我的笔记本电脑中删除张量流和拥抱脸部模型。我确实找到了一个链接https://github.com/huggingface/transformers/issues/861 ，但是没有命令可以删除它们，因为如链接中所述，手动删除可能会导致问题，因为我们不知道还有哪些其他文件链接到这些模型或期望某个模型出现在该位置，或者只是它可能会导致一些错误。

Answer 1

使用

pip install huggingface_hub["cli"]

然后

huggingface-cli delete-cache

您现在应该看到可以选择/取消选择的修订版本列表。

请参阅此链接了解详细信息。

Answer 2

变压器库会将下载的文件存储在您的缓存中。据我所知，没有内置方法可以从缓存中删除某些模型。但你可以自己编码一些东西。这些文件以加密名称与两个附加文件一起存储，这两个文件.json（.h5.json在 Tensorflow 模型的情况下）.lock附加到加密名称。json 文件包含一些可用于识别文件的元数据。以下是此类文件的示例：

{"url": "https://cdn.huggingface.co/roberta-base-pytorch_model.bin", "etag": "\"8a60a65d5096de71f572516af7f5a0c4-30\""}

我们现在可以使用此信息创建缓存文件的列表，如下所示：

{"url": "https://cdn.huggingface.co/roberta-base-pytorch_model.bin", "etag": "\"8a60a65d5096de71f572516af7f5a0c4-30\""}

cachedModels现在您所要做的就是检查和的密钥cachedTokenizers并决定是否保留它们。如果您想删除它们，只需检查字典的值并从缓存中删除文件即可。不要忘记同时删除相应的*.json和*.lock文件。

Answer 3

从transformers github问题的评论中，您可以使用以下方式找到缓存目录，以便您可以清理它：

from transformers import file_utils
print(file_utils.default_cache_path)

Answer 4

pip uninstall tensorflow 
pip uninstall tensorflow-gpu
pip uninstall transformers

并找到您保存 gpt-2 的位置

model.save_pretrained("./english-gpt2") .???

english-gpt2 = 您下载的型号名称。

您可以从该路径手动删除。