Python 3.x 使用Pyspark与python解释器、pandas和Ipython笔记本集成sparksql
我想知道哪种解释器适合Python使用Numpy、pandas和matplotlib等具有集成Ipython笔记本功能的特性 我还想将其与ApacheSpark集成。可能吗Python 3.x 使用Pyspark与python解释器、pandas和Ipython笔记本集成sparksql,python-3.x,pandas,matplotlib,pyspark,apache-spark-sql,Python 3.x,Pandas,Matplotlib,Pyspark,Apache Spark Sql,我想知道哪种解释器适合Python使用Numpy、pandas和matplotlib等具有集成Ipython笔记本功能的特性 我还想将其与ApacheSpark集成。可能吗 我的目标是需要从不同的源加载不同的表，如Oracle、MS SQL和HDFS文件，并需要使用Pyspark、SparkSQL对它们进行转换。然后我想使用pandas/matplolib进行操作和可视化。查看hortonworks沙箱。这是一个安装并配置了hadoop及其所有组件（如spark ad hdfs）的虚拟机。除此之
我的目标是需要从不同的源加载不同的表，如Oracle、MS SQL和HDFS文件，并需要使用Pyspark、SparkSQL对它们进行转换。然后我想使用pandas/matplolib进行操作和可视化。查看hortonworks沙箱。这是一个安装并配置了hadoop及其所有组件（如spark ad hdfs）的虚拟机。除此之外，还有一本叫做齐柏林飞艇笔记本的笔记本，允许您用python或其他语言编写脚本。 您还可以免费安装python库并通过笔记本访问它们，尽管我很高兴它自带了自己的数据可视化 请注意，spark数据帧类型与pandas数据帧类型不兼容。您必须将数据转换为一个简单的矩阵，然后重新积分为spark或pandas类型