Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 2.7 Python编写s3文件的并行过程_Python 2.7_Amazon S3_Multiprocessing - Fatal编程技术网

Python 2.7 Python编写s3文件的并行过程

Python 2.7 Python编写s3文件的并行过程,python-2.7,amazon-s3,multiprocessing,Python 2.7,Amazon S3,Multiprocessing,我有一个队列,其中的行数>10k,我正在使用并行处理在s3上写入文件,但运气不好。你知道怎么存档吗 我已经在使用smart\u open软件包打开文件并进行写入 with smart_open.smart_open(key, 'w') as fout: csvwriter = csv.writer(fout) csvwriter.writerow(inrow) 上面的代码是在一个函数中编写的,我通过创建多个线程来运行这个函数。inrow是队列中存在的元素列表(队列列表)。您能分

我有一个队列,其中的行数>10k,我正在使用并行处理在s3上写入文件,但运气不好。你知道怎么存档吗

我已经在使用
smart\u open
软件包打开文件并进行写入

with smart_open.smart_open(key, 'w') as fout:
    csvwriter = csv.writer(fout)
    csvwriter.writerow(inrow)

上面的代码是在一个函数中编写的,我通过创建多个线程来运行这个函数。inrow是队列中存在的元素列表(队列列表)。

您能分享您的代码吗?你面临哪些错误?这可能有助于得到一个直截了当的答案。请在文章的描述中找到我的代码。我的问题是,有没有办法通过python多处理/多线程在对象存储(s3)上写入文件。我们可以创建一些s3流,用多个线程连续写入文件吗?你能分享你的代码吗?你面临哪些错误?这可能有助于得到一个直截了当的答案。请在文章的描述中找到我的代码。我的问题是,有没有办法通过python多处理/多线程在对象存储(s3)上写入文件。我们是否可以创建一些s3流以使用多线程连续写入文件?