Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何根据具体要求设置GCP群集_Apache Spark_Google Cloud Platform_Hive_Apache Kafka_Airflow - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 如何根据具体要求设置GCP群集

Apache spark 如何根据具体要求设置GCP群集

apache-spark google-cloud-platform hive apache-kafka airflow

Apache spark 如何根据具体要求设置GCP群集,apache-spark,google-cloud-platform,hive,apache-kafka,airflow,Apache Spark,Google Cloud Platform,Hive,Apache Kafka,Airflow,有人能帮我设置卡夫卡、蜂巢、Spark、Python、Cassandra（或任何NoSQL平台）和支持气流的GCP集群吗。这要求有点过分，但你可以利用市场来购买卡夫卡、Cassandra等产品 另外，您还指定了Python，但这是一种编程语言 Google PubSub类似于托管的Kafka，因此您可以迁移到PubSub而无需重新设计应用程序 Hive和Spark工作负载可以在DataProc上运行，DataProc是GCP的托管hadoop集群 对于Python，您可以使用谷歌应用程序引擎（用

有人能帮我设置卡夫卡、蜂巢、Spark、Python、Cassandra（或任何NoSQL平台）和支持气流的GCP集群吗。

这要求有点过分，但你可以利用市场来购买卡夫卡、Cassandra等产品

另外，您还指定了Python，但这是一种编程语言

  • Google PubSub类似于托管的Kafka，因此您可以迁移到PubSub而无需重新设计应用程序
  • Hive和Spark工作负载可以在DataProc上运行，DataProc是GCP的托管hadoop集群
  • 对于Python，您可以使用谷歌应用程序引擎（用于web应用程序）或谷歌计算引擎（用于常规Python脚本）
  • Cassandra（或任何NoSQL平台）您可以使用数据存储
  • 对于气流您可以使用cloud composer，它是在发动机罩下的GKE上运行的受管理气流
    好了，希望这能帮助您入门。

    什么是GCP群集？以下是快速入门：1。2.3.4.5.