小编SiS*_*iSi的帖子

如何在离线模式电脑上使用tiktoken

import tiktoken

tokenizer = tiktoken.get_encoding("cl100k_base") tokenizer = tiktoken.encoding_for_model("gpt-3.5-turbo")

text = "Hello, nice to meet you"

tokenizer.encode(text)

Run Code Online (Sandbox Code Playgroud)

这一直显示名为 requests.exceptions.SSLError 的错误。由 SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] 证书验证失败:证书链中的自签名证书 (_ssl.c:1002)')) ... 引起。

我想运行这段代码来查看令牌的数量。但正如我之前提到的,它一直显示错误。我缺少什么代码?

python tokenize gpt-3

4
推荐指数
2
解决办法
1万
查看次数

标签 统计

gpt-3 ×1

python ×1

tokenize ×1