Twitter 如何在HDFS中存储推文？

如何在HDFS中存储特定的网站推文

假设有一个网站www.abcd.com，我想收集该网站的所有用户推文，并将其存储到HDFS或Hive中

Flume和sqoop也有助于存储数据

---

所以有人请告诉我flume和sqoop是如何在HDFS中存储推文的吗？

sqoop并不是为此而设计的。水槽用于满足此类需求。您可以编写自定义Flume源，将推送并将其转储到HDFS中。例如，请参见。它展示了如何使用Flume从Twitter流API收集数据，并将其转发到HDFS

---

您可以在

中找到更多信息。Sqoop不是为此目的而制作的。水槽用于满足此类需求。您可以编写自定义Flume源，将推送并将其转储到HDFS中。例如，请参见。它展示了如何使用Flume从Twitter流API收集数据，并将其转发到HDFS

您可以在中找到更多信息