Spark日志级别
-
如何通过调整log4j配置文件来优化Spark日志级别?
要调整Spark日志级别,你需要在log4j配置文件中添加或修改以下配置:,,``,log4j.rootLogger=ERROR, console,log4j.logger.org=ERROR,log4j.logger.org.apache=ERROR,log4j.logger.org.apache.spark=ERROR,log4j.logger.org.apache.spark.repl=ERROR,log4j.logger.org.apache.spark.sql=ERROR,log4j.logger.org.apache.spark.streaming=ERROR,log4j.logger.org.apache.spark.ui=ERROR,``,,这将把所有相关包的日志级别设置为ERROR。你可以根据需要调整为其他级别,如INFO、WARN等。