Java 使用Spark 1.6.2从控制台删除调试日志

使用Java，我启动了一个基本的Spark应用程序，使用：

    SparkConf conf = new SparkConf().setAppName("myApp").setMaster("local");
    JavaSparkContext javaSparkContext = new JavaSparkContext(conf);
    javaSparkContext.setLogLevel("INFO");
    SQLContext sqlContext = new SQLContext(javaSparkContext);

我试图通过添加

setLogLevel

来减少系统的冗长性，但它没有这样做。我还有很多调试信息

理想情况下，我希望关闭所有

org.apache.spark.*

错误除外

更新#1:

以下是我的pom.xml：

<dependencies>
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.6</version>
    </dependency>
    <dependency>
        <groupId>org.hibernate</groupId>
        <artifactId>hibernate-core</artifactId>
        <version>5.2.0.Final</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>1.6.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.10</artifactId>
        <version>1.6.2</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>com.databricks</groupId>
        <artifactId>spark-csv_2.10</artifactId>
        <version>1.4.0</version>
    </dependency>
</dependencies>

mysql
mysql连接器java
5.1.6
org.hibernate
冬眠核心
5.2.0.1最终版本
org.apache.spark
spark-core_2.10
1.6.2
org.apache.spark
spark-sql_2.10
1.6.2
假如
com.databricks
spark-csv_2.10
1.4.0

有一个文件conf/log4j.properties.template，请复制它并根据您的日志记录需要进行修改

cd spark/conf
cp log4j.properties.template log4j.properties

将行添加到log4j。属性应该可以工作

log4j.logger.org.apache.spark=ERROR

[编辑]

---

如果是maven java项目，运行独立的spark。将

log4j.properties

复制到

src/main/resources

，或者复制到

src/test/resources

（如果是针对测试用例）。并进行相应的修改。

谢谢@Rockie，我已经看到了，但我不知道spark/conf在哪里。。。我通过Maven将Spark集成到我的中，所以一切都非常不透明。。。你知道在这个环境中spark/conf在哪里吗？你的意思是spark是由maven加载的吗。我会检查pom.xml文件，看看它是如何加载和修改的是的，Maven会处理所有的事情。。。我用pom更新了我的帖子