Amazon dynamodb 将发电机B连接到火花?

Amazon dynamodb 将发电机B连接到火花?,amazon-dynamodb,pyspark,Amazon Dynamodb,Pyspark,有没有办法将pyspark(使用python的SparksAPI)连接到dynamodb。对于mongodb和cassandra,有与pyspark接口的连接器。如果dynamo可以充当Hadoop的输入/输出,这似乎是可能的 任何线索都将不胜感激 你看过波托吗?看过。Boto连接到dynamo,但不与pyspark接口。你说的“不接口”是什么意思。。。你试过什么?您应该能够在中运行任何Python代码Spark@maxymooOP的意思是不能将boto对象传递给Spark,操作只能从导入的库

有没有办法将pyspark(使用python的SparksAPI)连接到dynamodb。对于mongodb和cassandra,有与pyspark接口的连接器。如果dynamo可以充当Hadoop的输入/输出,这似乎是可能的


任何线索都将不胜感激

你看过波托吗?看过。Boto连接到dynamo,但不与pyspark接口。你说的“不接口”是什么意思。。。你试过什么?您应该能够在中运行任何Python代码Spark@maxymooOP的意思是不能将boto对象传递给Spark,操作只能从导入的库中获取没有任何第三方依赖关系的简单基类或纯python函数。@alfredox您可以使用--py files参数传递库,请参阅