使用C#生成PySpark语句的最佳实践?

使用C#生成PySpark语句的最佳实践?,c#,python,asp.net,apache-spark,livy,C#,Python,Asp.net,Apache Spark,Livy,我正在编写一个ASP.NETWebAPI,它将在某个时候与ApacheSpark集群通信 通信是使用spark集群上的服务器建立的,该服务器公开了一个RESTAPI接口和一个我编写的HTTP客户端 在我的业务逻辑中,我需要定义将作为作业提交给spark的操作。 现在我创建一个Livy PySpark会话并提交PySpark代码 PySpark代码是由我的Web API的逻辑生成的。 作为代码生成的示例,如果要导入python模块,请执行以下操作: string pythonImportTempl

我正在编写一个ASP.NETWebAPI,它将在某个时候与ApacheSpark集群通信

通信是使用spark集群上的服务器建立的,该服务器公开了一个RESTAPI接口和一个我编写的HTTP客户端

在我的业务逻辑中,我需要定义将作为作业提交给spark的操作。 现在我创建一个Livy PySpark会话并提交PySpark代码

PySpark代码是由我的Web API的逻辑生成的。 作为代码生成的示例,如果要导入python模块,请执行以下操作:

string pythonImportTemplate = "from {0} import {1}";
statements.Add(string.format(pythonImportTemplate, param1, param2));
/*** Post Statements To Spark ***/
这在我看来是非常错误和重复的

我的问题是:是否有任何健壮的方法(或设计模式)来生成这样的代码字符串,以最小化解释器(Livy)语法错误的概率