Python 在PySpark中读取文本文件时，有没有控制分区数量的方法

我正在PySpark中使用以下命令读取文本文件

rating_data_raw = sc.textFile("/<path_to_csv_file>.csv")

rating\u data\u raw=sc.textFile（“/.csv”）

---

有没有办法指定RDD rating_data_raw应该拆分成的分区数？我想指定大量分区以提高并发性。

正如其他用户所说，您可以在的可选参数

minPartitions

中设置读取文件时要创建的最小分区数

---

可以添加python标记吗？这种方式将为代码添加高亮显示。您可以在读取文件时声明最小的分区数，请参见此处的文档-

rating_data_raw = sc.textFile("/<path_to_csv_file>.csv", minPartitions=128)

rating_data_raw = sc.textFile("/<path_to_csv_file>.csv").repartition(128)