Python Can'；t输入标记器

我正在尝试使用transformers包中的BertTokenizer部分。首先，我安装如下

pip install transformers

这说明它成功了

当我尝试导入包的以下部分时，我得到以下结果

 from transformers import BertTokenizer
Traceback (most recent call last):

  File "<ipython-input-2-89505a24ece6>", line 1, in <module>
    from transformers import BertTokenizer

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\__init__.py", line 22, in <module>
    from .integrations import (  # isort:skip

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\integrations.py", line 42, in <module>
    from .trainer_utils import PREFIX_CHECKPOINT_DIR, BestRun  # isort:skip

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\trainer_utils.py", line 10, in <module>
    from .tokenization_utils_base import ExplicitEnum

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\tokenization_utils_base.py", line 31, in <module>
    from tokenizers import AddedToken

  File "C:\Users\User\anaconda3\lib\site-packages\tokenizers\__init__.py", line 17, in <module>
    from .tokenizers import Tokenizer, Encoding, AddedToken

ModuleNotFoundError: No module named 'tokenizers.tokenizers'

从转换器导入标记器
回溯（最近一次呼叫最后一次）：
文件“”，第1行，在
从transformers导入标记器
文件“C:\Users\User\anaconda3\lib\site packages\transformers\\uuuu init\uuuuu.py”，第22行，在
from.integrations导入（#isort:skip
文件“C:\Users\User\anaconda3\lib\site packages\transformers\integrations.py”，第42行，在
from.trainer_utils导入前缀_CHECKPOINT_DIR，BestRun#isort:skip
文件“C:\Users\User\anaconda3\lib\site packages\transformers\trainer\u utils.py”，第10行，在
from.tokenization\u utils\u base import ExplicitEnum
文件“C:\Users\User\anaconda3\lib\site packages\transformers\tokenization\u utils\u base.py”，第31行，在
从Tokenizer导入AddedToken
文件“C:\Users\User\anaconda3\lib\site packages\tokenizers\\uuuu init\uuuu.py”，第17行，在
从.Tokenizer导入标记器、编码、AddedToken
ModuleNotFoundError:没有名为'tokenizers.tokenizers'的模块

这个包在这里很详细，所以我想应该可以买到 您可以这样做：

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('bert-base-cased')

它应该能正常工作

---

不管怎样，我做了一个测试，做了你所做的，但它对我有效。我无法重现你的错误。可能你没有正确安装库。请尝试创建一个新环境并从头开始安装。

我也遇到了类似的问题。问题似乎是我导入tensor flow库的方式。我将其从导入tensor flow作为tf到

导入tensorflow

我很困惑我怎么可能安装不正确，我已经多次卸载并安装了pip。你认为我做错了什么？你能详细说明创建一个新环境吗？我用

anaconda

创建了一个虚拟环境，然后用pip安装了

变压器。通过这样做，您的代码可以正常工作。您可以尝试使用pip卸载
transformers
（不是pip），然后安装到新的虚拟环境中