Fatal编程技术网
  • apache-spark/
  • Apache spark 是否有办法审核SPARK shell命令，以便记录和保护SPARK数据隐私访问

Apache spark 是否有办法审核SPARK shell命令，以便记录和保护SPARK数据隐私访问

apache-spark

Apache spark 是否有办法审核SPARK shell命令，以便记录和保护SPARK数据隐私访问,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,是否有方法审核SPARK shell命令。就像MapR中有审计maprci命令、审计MaprFS等的方法一样。 类似地，还有一种方法可以审核Spark Shell、Spark Sql、Spark数据访问，以及审核诸如谁、何时和执行了什么等信息。您可能可以使用类似于脚本的命令，然后审核打印到控制台/日志的命令中的输出自定义函数。假设您有一个名为inputable的函数（numberRecords:Long，sourceHiveTable:String，userName:String，timeSta

是否有方法审核SPARK shell命令。就像MapR中有审计maprci命令、审计MaprFS等的方法一样。
类似地，还有一种方法可以审核Spark Shell、Spark Sql、Spark数据访问，以及审核诸如谁、何时和执行了什么等信息。

您可能可以使用类似于
脚本的
命令，然后审核打印到控制台/日志的命令中的输出自定义函数。假设您有一个名为inputable的函数（numberRecords:Long，sourceHiveTable:String，userName:String，timeStamp:timeStamp）；您可以使用println（sourceHiveTable+”由“+userName+”处理；在交互过程中，他们提取了“+numberRecords.toString+”记录数，此时“+timeStamp.toString”）