如何检测代码是否在pyspark下运行

对于暂存和生产，我的代码将在PySpark上运行。但是，在本地开发环境中，我不会在PySpark上运行代码

从日志记录的角度来看，这是一个问题。因为在使用PySpark时通过Py4J使用Java库Log4J，所以本地开发不会使用Log4J

谢天谢地，Log4J的API和Python核心日志模块是相同的：一旦您获得了一个logger对象，您只需使用其中一个模块

debug（）

或

info（）

等等

因此，我希望检测我的代码是否在PySpark或非PySpark环境中导入/运行：类似于：

class App:

    def our_logger(self):
        if self.running_under_spark():
            sc = SparkContext(conf=conf) 
            log4jLogger = sc._jvm.org.apache.log4j 
            log = log4jLogger.LogManager.getLogger(__name__) 
            log.warn("Hello World!")
            return log
        else:
            from loguru import logger
            return logger

如何实现

在\u spark（）下运行

---

简单地尝试导入

pyspark

并查看它是否有效并不是一种防故障的方法，因为我的开发环境中有

pyspark

，可以消除IDE代码中未导入模块的警告。

也许您可以在spark环境中设置一些环境变量，以便在运行时进行检查（以$SPARK_HOME/conf/SPARK env.sh为单位）：

然后检查SPARKY是否存在，以确定您是否处于spark环境中

from os import environ

class App:
def our_logger(self):
    if environ.get('SPARKY') is not None:
        sc = SparkContext(conf=conf) 
        log4jLogger = sc._jvm.org.apache.log4j 
        log = log4jLogger.LogManager.getLogger(__name__) 
        log.warn("Hello World!")
        return log
    else:
        from loguru import logger
        return logger

---

只是想了解，[1]当你说在“非PySpark环境”中开发代码时，你会使用PySpark对象吗？如果是，那么你不打算测试它吗？[2]如果不是，那么你会使用普通python，那么为什么环境很重要？[3]你想识别环境，然后决定执行什么代码吗？“非PySpark环境”是指不使用PySpark执行同样的代码（在开发中），该代码也将在PySpark下执行（在生产中）。我在更新原始帖子时已经解释了环境问题的原因：因为登录Cython/non-PySpark不能使用Log4J，但登录PySpark必须使用Log4J。您可以检查创建的spark会话对象，它是哪种实例类型，spark会话对象的类型，对于PySpark，它将是

PySpark.sql.session.SparkSessionorg.apache.spark.sql.SparkSession

。希望这能帮助您确定它。

from os import environ

class App:
def our_logger(self):
    if environ.get('SPARKY') is not None:
        sc = SparkContext(conf=conf) 
        log4jLogger = sc._jvm.org.apache.log4j 
        log = log4jLogger.LogManager.getLogger(__name__) 
        log.warn("Hello World!")
        return log
    else:
        from loguru import logger
        return logger