Google bigquery 我可以在BigQuery和Google云数据流中使用相同的编程语言吗？

我想使用相同的函数来解析两种不同技术中的事件：Goolge Bigquery和DataFlow。有没有一种语言可以让我做到这一点？如果不是的话，谷歌是否计划在近期内支持这一计划

背景：这种解析有些复杂（例如，应用自定义URL提取规则，从用户代理提取信息），但计算成本不高，并且不涉及将事件连接到任何其他大型查找表。因为解析可能很复杂，所以我只想用一种语言编写解析逻辑，并在需要的任何地方运行它：有时在BigQuery中，有时在其他环境（如DataFlow）中。我希望避免用不同的语言编写相同的复杂解析器/提取器，因为这样会导致错误和不一致

---

我知道BigQuery支持javascript UDF。有没有一种干净的方法可以在谷歌云数据流上运行javascript？BigQuery将来会支持其他语言中的UDF吗？

我们倾向于使用Java来模拟BigQuery作业并解析其结果数据，然后我们也在数据流中这样做

同样，在编写的sql数量与从代码库自动生成的sql数量以及bigquery与dataflow的依赖程度方面，您也有一定的回旋余地。

---

（我们发现，使用大量数据，在将bigquery拉入数据流之前，将尽可能多的初始分组/过滤卸载到bigquery中会有很大的好处）

这些事件的格式是什么？JSON？字符串是否遵循某种模式？现在还不清楚为什么解析逻辑只能存在于一种语言中。说得好@ElliottBrossard，我已经为这个问题添加了一些额外的上下文来澄清我的动机。让我们假设事件是以nginxwebserver日志的形式出现的，但我认为这并不重要（对于任何格式，我都会面临类似的要求，因为我超越了基本的解析和应用提取规则来丰富事件）。尽管如此，我不认为它一定要复杂且难以维护。以某种与语言无关的方式（例如文本文件）设置各种提取的输入和预期输出，这样即使提取是以多种语言实现的，也可以确保兼容性。根据您正在执行的操作，您可能能够使用RE2（正则表达式）进行提取。您可以在BigQuery中使用Java和SQL中的RE2。