在Azure Kubernetes服务(AKS)中使用Dask Kubernetes上的大数据
我想对笔记本电脑硬盘中8gb的数据集(如csv文件)进行分析。我已经在AKS上安装了一个dask kubernetes群集,每个群集有1个调度程序和3个工作进程,每个进程有7 gb 如何使用AKS上的dask kubernetes群集处理数据集? 工作人员之间共享数据集的哪个文件系统最适合此目的? 任何关于我应该将此数据集存储在何处以便我可以轻松处理此数据集的建议在Azure Kubernetes服务(AKS)中使用Dask Kubernetes上的大数据,kubernetes,dataset,dask,azure-aks,dask-kubernetes,Kubernetes,Dataset,Dask,Azure Aks,Dask Kubernetes,我想对笔记本电脑硬盘中8gb的数据集(如csv文件)进行分析。我已经在AKS上安装了一个dask kubernetes群集,每个群集有1个调度程序和3个工作进程,每个进程有7 gb 如何使用AKS上的dask kubernetes群集处理数据集? 工作人员之间共享数据集的哪个文件系统最适合此目的? 任何关于我应该将此数据集存储在何处以便我可以轻松处理此数据集的建议 该方法应该可以从jupyter笔记本和python文件中使用。您可能希望将数据上载到Azure blob存储。此处有关于dask远程
该方法应该可以从jupyter笔记本和python文件中使用。您可能希望将数据上载到Azure blob存储。此处有关于dask远程数据(包括Azure)的更多信息: