Python 如何在数据科学体验上实现TensorFrames Spark软件包?

Python 如何在数据科学体验上实现TensorFrames Spark软件包?,python,maven,apache-spark,pyspark,data-science-experience,Python,Maven,Apache Spark,Pyspark,Data Science Experience,我已经能够导入包: import pixiedust pixiedust.installPackage("databricks:tensorframes:0") 但当我尝试一个简单的例子时: import tensorflow as tf import tensorframes as tfs from pyspark.sql import Row data = [Row(x=[float(x), float(2 * x)], key=str(x % 2),

我已经能够导入包:

import pixiedust
pixiedust.installPackage("databricks:tensorframes:0")
但当我尝试一个简单的例子时:

import tensorflow as tf
import tensorframes as tfs
from pyspark.sql import Row
data = [Row(x=[float(x), float(2 * x)],
            key=str(x % 2),
            z = float(x+1)) for x in range(1, 6)]
df = spark.createDataFrame(data)
tfs.print_schema(df)
我得到以下错误:

在依赖关系树中似乎有一个较旧的
scala-logging-slf4j
工件如何删除此工件?一旦删除,我假设可以使用PixieDust添加一个更新版本:

pixiedust.installPackage(“https://mvnrepository.com/artifact/com.typesafe.scala-logging/scala-logging-slf4j_2.10/2.1.2")

pixiedust.installPackage(“https://mvnrepository.com/artifact/com.typesafe.scala-logging/scala-logging-api_2.10/2.1.2“”

IBM支持部门的Charles帮助我找到了要包含的JAR:

pixiedust.installPackage(“http://central.maven.org/maven2/com/typesafe/scala-logging/scala-logging-slf4j_2.10/2.1.2/scala-logging-slf4j_2.10-2.1.2.jar")
pixiedust.installPackage(“http://central.maven.org/maven2/com/typesafe/scala-logging/scala-logging-api_2.10/2.1.2/scala-logging-api_2.10-2.1.2.jar“”


这从技术上解决了第一个错误,但是帧仍然无法工作。我将发布另一个更具体的问题。

是后续问题。我觉得更准确。我已经发布了后续问题。
Py4JJavaError: An error occurred while calling o97.loadClass.
: java.lang.NoClassDefFoundError:com.typesafe.scalalogging.slf4j.LazyLogging