Deep learning 在GPU上运行huggingface Bert标记器_Deep Learning_Nlp_Huggingface Transformers_Huggingface Tokenizers

Deep learning 在GPU上运行huggingface Bert标记器

deep-learning nlp

Deep learning 在GPU上运行huggingface Bert标记器,deep-learning,nlp,huggingface-transformers,huggingface-tokenizers,Deep Learning,Nlp,Huggingface Transformers,Huggingface Tokenizers,我正在处理一个用于内容分类的大型文本数据集。我已经实现了distilbert模型和distilberttokenizer。。这个标记器花了相当长的时间来标记我的文本数据，大约7分钟，只需要14k条记录，这是因为它在我的CPU上运行是否有任何方法可以强制标记器在我的GPU上运行。标记化是字符串操作。它基本上是字符串上的for循环，带有一系列if-else条件和字典查找。使用GPU是不可能加速的。基本上，GPU唯一能做的就是张量乘法和加法。只有可以用张量运算表示的问题才能用GPU加速 Huggi

我正在处理一个用于内容分类的大型文本数据集。我已经实现了distilbert模型和distilberttokenizer。。这个标记器花了相当长的时间来标记我的文本数据，大约7分钟，只需要14k条记录，这是因为它在我的CPU上运行

是否有任何方法可以强制标记器在我的GPU上运行。

标记化是字符串操作。它基本上是字符串上的for循环，带有一系列if-else条件和字典查找。使用GPU是不可能加速的。基本上，GPU唯一能做的就是张量乘法和加法。只有可以用张量运算表示的问题才能用GPU加速

Huggingface Transformers中的默认标记器是用Python实现的。有一个更快的版本是在Rust中实现的。您可以从独立软件包或较新版本的Transformers中获得它，它们应该在下提供。

Huggingface Transformers中的默认标记器是用Python实现的。有一个更快的版本是在Rust中实现的。您可以从独立软件包或较新版本的Transformers中获得，它们应在下提供。

这似乎是的副本。这似乎是的副本。谢谢。我已经实现了快速标记器，性能显著提高。谢谢。我已经实现了快速标记器，性能显著提高。