Web crawler 如何导入.io将爬网数据实时写入文件

我目前在import.io中设置了一个爬虫程序，它可以爬过大量页面（数万页）。一旦这个爬虫程序完成，我试图查看数据，却发现数据已经全部丢失，我认为这是由于数据量过大造成的。是否有办法设置我的爬虫程序，以便在收集数据时将数据实时写入硬盘上的文件？

可以，在开始爬虫之前，链接区域下方有一个选项

1-保存流是您选择文件名和保存位置的地方，同时请确保在文件名中添加.csv或.json

2-流类型从下拉列表中选择输出类型