如何从Spark中的Python笔记本中读取对象存储中存储的SQLite文件作为Bluemix上的服务?
我在IBM的Bluemix上的对象存储实例中有一个SQLite文件。我想从Spark中的Python笔记本作为服务访问该文件。目前,以下代码不起作用:如何从Spark中的Python笔记本中读取对象存储中存储的SQLite文件作为Bluemix上的服务?,python,sqlite,apache-spark,ibm-cloud,object-storage,Python,Sqlite,Apache Spark,Ibm Cloud,Object Storage,我在IBM的Bluemix上的对象存储实例中有一个SQLite文件。我想从Spark中的Python笔记本作为服务访问该文件。目前,以下代码不起作用: df = sqlContext.read.format('jdbc').\ options(url='jdbc:sqlite:swift://container.spark/db.sqlite',\ dbtable='schema.tablename').load() print df.take(10) 我得到的错误是:没有
df = sqlContext.read.format('jdbc').\
options(url='jdbc:sqlite:swift://container.spark/db.sqlite',\
dbtable='schema.tablename').load()
print df.take(10)
我得到的错误是:没有找到适合jdbc的驱动程序:sqlite://container.spark/db.sqlite
我一直在寻找这方面的文档,但一直没有找到。任何帮助都将不胜感激。如何从Bluemix上的Spark as Service访问对象存储上的SQLite文件?您缺少一个要在选项中指定的参数,该选项是要查找的驱动程序
df = sqlContext.read.format('jdbc').\
options(url='jdbc:sqlite:Chinook_Sqlite.sqlite',\
dbtable='employee',driver='org.sqlite.JDBC').load()
添加driver='org.sqlite.JDBC'
,您会注意到找不到驱动程序
但对于从对象存储中读取sqlite,我认为这是不受支持的
由org.sqlite.JDBC编写。
唯一允许的三种方法是绝对路径、文件系统的相对路径和内存。
在下面的示例中,我在Bluemix spark服务的本地磁盘中下载了示例sqlite数据库,然后使用了它
Github可导入笔记本:-
谢谢,
查尔斯。非常感谢您的回复!我将尝试用类似的方式来做这件事。这可能看起来很琐碎,但你能扩展一下你在“下载sqlite jdbc并将其添加为jar”步骤中所做的工作吗?嗨,罗斯…请忽略这一步骤…我在写Scala笔记本,然后意识到bluemix已经有了sqlite驱动程序,你正在寻找Python代码…我刚刚更新了github repo