Python 2.7 Python编写s3文件的并行过程
我有一个队列,其中的行数>10k,我正在使用并行处理在s3上写入文件,但运气不好。你知道怎么存档吗 我已经在使用Python 2.7 Python编写s3文件的并行过程,python-2.7,amazon-s3,multiprocessing,Python 2.7,Amazon S3,Multiprocessing,我有一个队列,其中的行数>10k,我正在使用并行处理在s3上写入文件,但运气不好。你知道怎么存档吗 我已经在使用smart\u open软件包打开文件并进行写入 with smart_open.smart_open(key, 'w') as fout: csvwriter = csv.writer(fout) csvwriter.writerow(inrow) 上面的代码是在一个函数中编写的,我通过创建多个线程来运行这个函数。inrow是队列中存在的元素列表(队列列表)。您能分
smart\u open
软件包打开文件并进行写入
with smart_open.smart_open(key, 'w') as fout:
csvwriter = csv.writer(fout)
csvwriter.writerow(inrow)
上面的代码是在一个函数中编写的,我通过创建多个线程来运行这个函数。inrow是队列中存在的元素列表(队列列表)。您能分享您的代码吗?你面临哪些错误?这可能有助于得到一个直截了当的答案。请在文章的描述中找到我的代码。我的问题是,有没有办法通过python多处理/多线程在对象存储(s3)上写入文件。我们可以创建一些s3流,用多个线程连续写入文件吗?你能分享你的代码吗?你面临哪些错误?这可能有助于得到一个直截了当的答案。请在文章的描述中找到我的代码。我的问题是,有没有办法通过python多处理/多线程在对象存储(s3)上写入文件。我们是否可以创建一些s3流以使用多线程连续写入文件?