Python nltk的标记器错误

我对Python非常陌生，正在尝试结合使用nltk进行学习

我一直在遵循一些示例并进行测试，但由于python返回的错误，我的能力似乎非常有限

我知道nltk已经安装并可以很好地导入，因为这段代码很有效

from nltk.sem import chat80 print chat80.items 从nltk.sem导入chat80 打印聊天记录80.0项 但是，“from nltk.tokenizer import*”返回“stdin”文件，第1行。 'File "stdin", line1. 我在使用任何类型的“TOKEN=”时都会遇到类似的错误，或者我猜是什么标记化

在过去的几天里，我已经安装了很多次python，希望有一个不同的版本或更好的安装可能会有所帮助

我使用activePython2.6在windows7上遇到这个错误，尽管我也遇到过类似的错误 使用Python3.1 activePython3.1和Python2.6的ors。 以及在MacOSX10.5和Python2.5上

mac提供了更多的数据，“导入错误：没有名为tokenizer的模块

---

我只是在尝试一些nltk online的介绍性演示，甚至还没有尝试编写自己的代码，我得到的错误比成功的要多。

看起来nltp包没有

标记器

NLTK网站上的快速浏览表明，nltp.tokenize import*

中的

是您所追求的。
看起来nltp包没有
标记器
包

NLTK网站上的快速浏览表明，nltp.tokenize import*

中的

是您的目标。
Adam的答案可能对您当前的“tokenizer”问题是正确的。以下是一些一般建议：

当你不熟悉路标时，阅读路标会很有帮助，例如，在下载页面的顶部：“虽然Python 3.0现在可用，但NLTK需要的许多软件包没有Python 3.0的发行版。目前，您应该将NLTK与Python2.4、2.5或2.6.*一起使用。“”…这样可以节省您尝试Python3.1的工作量。此外，尝试同时学习Python2.x和3.x对于新手来说有点太多了

“在过去的几天里，我已经安装了很多次python，希望不同的版本或更好的安装可能会有所帮助”“。重复安装同一版本不太可能有帮助

“”“但是，
从nltk.tokenizer import*
返回
文件“stdin”，第1行
”“”。请求帮助时，显示您的输入和所有输出，例如

>>> from nosuchthing import *
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named nosuchthing
>>>

>>从NoTouching导入*
回溯（最近一次呼叫最后一次）：
文件“”，第1行，在
ImportError:没有名为nosuchthing的模块
>>>

并且不要从内存中键入；使用复制/粘贴

当面临问题时，计划对可能原因的调查。首先看看那些具有高合理性和低调查成本（例如打字或其他抄写错误）的人。我记不起我在哪里读过这条建议，但值得记住的是：“在你责怪神的行为和门的行为之前，检查一下自我行为“
亚当的答案对于你眼前的“标记器”问题可能是正确的。以下是一些一般建议：

当你不熟悉路标时，阅读路标会很有帮助，例如，在下载页面的顶部：“虽然Python 3.0现在可用，但NLTK需要的许多软件包没有Python 3.0的发行版。目前，你应该将NLTK与Python 2.4、2.5或2.6一起使用。*仅限。”。。。这将节省您尝试Python3.1的工作量。此外，对于新手来说，同时学习Python2.x和3.x有点太多了

“在过去的几天里，我已经安装了很多次python，希望有一个不同的版本或更好的安装可能会有所帮助。”。。。重复安装同一版本不太可能有帮助

“”“但是，
从nltk.tokenizer import*
返回
文件“stdin”，第1行
”“。”。。。请求帮助时，显示您的输入和所有输出，例如

>>> from nosuchthing import *
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named nosuchthing
>>>

>>从NoTouching导入*
回溯（最近一次呼叫最后一次）：
文件“”，第1行，在
ImportError:没有名为nosuchthing的模块
>>>

不要凭记忆打字；使用复制/粘贴

当遇到问题时，计划对可能的原因进行调查。首先看看那些具有高合理性和低调查成本（例如打字错误或其他转录错误）的人。我记不起我在哪里读过这条建议，但值得记住的是：“在你责怪上帝的行为和盖茨的行为之前，先检查一下自己的行为。”
尽管你是对的，约翰，我确实阅读了文档，但在nltk或easy_install方面不断遇到问题，或者，除了python中的“print”或“2+2”的基础知识之外，我还做了很多其他事情。这就是为什么我要安装不同的版本，看看是否能让它正常工作的原因，也是为什么我最终坚持在PC机上使用2.6版本，在Mac机上使用2.5版本，而其他的都失败了。在我所看到的所有代码示例中，甚至在nltk组中，“标记器”也经常使用。因此我尝试使用它而不是标记化。@pedalpete：你说你读了文档。再看一看
http://nltk.googlecode.com/svn/trunk/doc/api/index.html
。。。您是否看到标记器模块或标记化模块？您在另一篇评论中提到的developerworks文章已经超过5年了。快速查看svn回购协议可以看到nltk old中的tokenizer，上面有2004年的日期。提示：总是按照当前文档告诉你的去做，而不是你在网络上挖掘的东西。预计项目将经历重大变更，并存在严重的向后兼容性问题。顺便说一句，你看过网站上的“如何”部分了吗？尽管你说得没错，约翰，我确实阅读了文档，但在nltk或easy_install方面，或者在python中除了“print”或“2+2”的基础知识之外，我一直遇到问题。这就是为什么我要安装不同的版本，看看是否能让它正常工作，也是为什么我最终坚持在PC机上使用2.6版本，在Mac机上使用2.5版本，而其他的都是fa