Python 3.x 随机性 ；of ；散列和#xA0；of ；字符串 ；应该 ；be ；禁用 ；via ；蟒蛇籽

我使用“纱线火花”模式，运行时出现问题

pyspark——主纱线

在python3.5下，当我运行这样的代码时

user\u data=sc.textFile（“/testdata/u.user”）
user_fields=user_data.map（lambda行：line.split（“|”））
num\u genders=user\u fields.map（lambda fields:fields[2]）.distinct（）.count（）

结果显示

File "/data/opt/spark-2.1.0-bin-hadoop2.6/python/pyspark/rdd.py", line 1753, in add_shuffle_key
File "/data/opt/hadoop-2.6.0/tmp/nm-local-dir/usercache/jsdxadm/appcache/application_1494985561557_0005/container_1494985561557_0005_01_000002/pyspark.zip/pyspark/rdd.py", line 74, in portable_hash
raise Exception("Randomness of hash of string should be disabled via PYTHONHASHSEED environ=") 

---

我尝试了，但无法解决，您能帮我将

spark.executorEnv.PYTHONHASHSEED 0

包含在您的

spark defaults.conf

目录中吗。那应该行

将

spark.executorEnv.PYTHONHASHSEED 0

包含在

spark defaults.conf

中（在spark./conf目录中）。那应该行

这是Spark 2.1中的一个问题，已在2.2中解决。如果无法升级或无法访问spark-defaults.conf，可以使用

export SPARK_YARN_USER_ENV=PYTHONHASHSEED=0

---

提交作业之前。

这是Spark 2.1中的一个问题，已在2.2中解决。如果无法升级或无法访问spark-defaults.conf，可以使用

export SPARK_YARN_USER_ENV=PYTHONHASHSEED=0

---

提交作业之前。

我尝试了两种方法，但没有首先解决：echo“export PYTHONHASHSEED=0”>/root/.bashrc；第二个：spark.thread.appMasterEnv.pythonhasheed=“XXXX”我尝试了两种方法，但没有首先解决：echo“export pythonhasheed=0”>>/root/.bashrc；第二：spark.Thread.appMasterEnv.pythonhasheed=“XXXX”我听从你的建议，解决这个问题，认为你为我做了交易！谢谢这对我不起作用。my/.conf dir中也没有spark-defaults.conf文件，只有一个模板。我创建了这个文件，并把上面的一行放在那里，但我仍然得到了错误我按照你的建议，解决这个问题，认为你为我做了交易！谢谢这对我不起作用。my/.conf dir中也没有spark-defaults.conf文件，只有一个模板。我创建了这个文件并把上面的一行放在那里，但是我仍然得到了错误