小编Jay*_*Jay的帖子

查找数字是否是列表中元素的成员

我正在尝试创建一个谓词,它返回包含由我给出的某个数字的列表元素.

例:

?- where_is_it( [ [1,2,3] , [1,2,7] , [4,5] , [8] ] , 7 , X ).

X=[1,2,7].
Run Code Online (Sandbox Code Playgroud)

我是一个相对较新的prolog程序员,所以这是我的代码:

where_is_it([],_,[]). 
where_is_it([H|T],Num,H):-
    member([Num],H),!,
    where_is_it(T,Num,[]).
Run Code Online (Sandbox Code Playgroud)

非常感谢你

prolog

11
推荐指数
5
解决办法
439
查看次数

如何取消 BERT 代币的代币化?

我有一个句子,我需要返回特定单词左右两侧 N 个 BERT 标记对应的文本。

from transformers import BertTokenizer
tz = BertTokenizer.from_pretrained("bert-base-cased")
sentence = "The Natural Science Museum of Madrid shows the RECONSTRUCTION of a dinosaur"

tokens = tz.tokenize(sentence)
print(tokens)

>>['The', 'Natural', 'Science', 'Museum', 'of', 'Madrid', 'shows', 'the', 'R', '##EC', '##ON', '##ST', '##R', '##UC', '##TI', '##ON', 'of', 'a', 'dinosaur']
Run Code Online (Sandbox Code Playgroud)

我想要的是获取与令牌马德里左侧和右侧的4个令牌相对应的文本。所以我想要标记: ['Natural', 'Science', 'Museum', 'of', 'Madrid', 'shows', 'the', 'R', '##EC'] 然后将它们转换为原文。在本例中,它将是“马德里自然科学博物馆展示 REC”。

有没有办法做到这一点?

python tokenize bert-language-model huggingface-transformers huggingface-tokenizers

6
推荐指数
2
解决办法
8329
查看次数