Pyspark Spark-WARN LoadSnappy:未加载Snappy本机库

试着做一个练习。在终端中运行命令时，我不断得到以下信息：

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; 
support was removed in 8.0
15/04/26 14:21:05 WARN NativeCodeLoader: Unable to load native-hadoop library 
for your platform... using builtin-java classes where applicable
15/04/26 14:21:05 WARN LoadSnappy: Snappy native library not loaded

我在网上发现，第一个NativeCodeLoader警告应该出现在Mac上。第二个呢？我怎样才能快速上膛

谢谢

---

编辑：按原样，代码运行，生成上述输出，而不生成其他任何内容。

如果运行简单的Map Reduce程序，可以通过安装snappy库并将其放置在类路径中来避免该警告。您可以从这里下载jar

或者，如果您使用的是Maven项目，则必须在pom.xml中添加此依赖项

<dependency>
  <groupId>org.xerial.snappy</groupId>
  <artifactId>snappy-java</artifactId>
  <version>1.1.1.7</version>
  <type>jar</type>
  <scope>compile</scope>
</dependency>

org.xerial.snapy
轻快的java
1.1.1.7
罐子
编译

---

希望这对您有用。

这些警告在OSX环境中是应该出现的。验证您是否正确遵循了教程中的步骤。要查看任何输出，您需要更新原始MovieLensALS.scala文件

在“//your code here”注释下方添加以下代码

val numRatings = ratings.count
val numUsers = ratings.map(_._2.user).distinct.count
val numMovies = ratings.map(_._2.product).distinct.count

println("Got " + numRatings + " ratings from "
  + numUsers + " users on " + numMovies + " movies.")