错误重载方法值regexp\u替换为替代项

错误重载方法值regexp\u替换为替代项,regex,scala,apache-spark-sql,databricks,regexp-replace,Regex,Scala,Apache Spark Sql,Databricks,Regexp Replace,我试图用空格(“”)替换dataframe df_测试中名为UserAgent的列中的数据中的“/”字符 列中的数据如下所示: val df_test =spark.sql(s"select replace(UserAgent, '/', '') AS UserAgent from tmp") df_test.show Mozilla/5.0(Windows NT 6.1;WOW64;Trident/7.0;rv:11.0)类似Gecko 我试过使用 val df_test =spark.s

我试图用空格(“”)替换dataframe df_测试中名为UserAgent的列中的数据中的“/”字符

列中的数据如下所示:

val df_test =spark.sql(s"select replace(UserAgent, '/', '') AS UserAgent from tmp")

df_test.show
Mozilla/5.0(Windows NT 6.1;WOW64;Trident/7.0;rv:11.0)类似Gecko

我试过使用

val df_test =spark.sql(s"select UserAgent from df_header_pivot")
 df_test.withColumn("UserAgent", regexp_replace("UserAgent", "[/]", ""))
但我收到了错误信息:

笔记本:4:错误:重载方法值regexp\u替换为替代项: (e:org.apache.spark.sql.Column,模式:org.apache.spark.sql.Column,替换:org.apache.spark.sql.Column)org.apache.spark.sql.Column (e:org.apache.spark.sql.Column,模式:String,替换:String)org.apache.spark.sql.Column 无法应用于(org.apache.spark.sql.ColumnName、org.apache.spark.sql.Column) df_test.withColumn(“UserAgent”,regexp_replace($“UserAgent”,lit(“/”))


regexp\u replace
函数中,需要在列名之前使用
$
符号。

导入org.apache.spark.sql.functions_
val df_test=spark.sql(s“从df_头_轴选择用户代理”)

df_test.withColumn(“UserAgent”,regexp_replace($“UserAgent”,“[/]”,“”))
您需要在
regexp_replace
函数的列名前使用
$
符号。

导入org.apache.spark.sql.functions_
val df_test=spark.sql(s“从df_头_轴选择用户代理”)

df_test.withColumn(“UserAgent”,regexp_replace($“UserAgent”,“[/]”,“)
当您使用SparkSQL时,您只需在SQL本身中调用
replace
函数,例如:

val df_test =spark.sql(s"select replace(UserAgent, '/', '') AS UserAgent from tmp")

df_test.show
或者使用
translate
功能替换不需要正则表达式的字符,例如

df_test
  .withColumn("UserAgent", translate($"UserAgent", "/", ""))
  .show

不需要正则表达式。

在使用SparkSQL时,只需在SQL本身中调用
replace
函数,例如:

val df_test =spark.sql(s"select replace(UserAgent, '/', '') AS UserAgent from tmp")

df_test.show
或者使用
translate
功能替换不需要正则表达式的字符,例如

df_test
  .withColumn("UserAgent", translate($"UserAgent", "/", ""))
  .show

不需要正则表达式。

回答得好,Vijay!回答得好,维杰!嘿,wBob,这在scala/python中也是可能的?嘿@VijayKumarSharma,用更新的
translate
函数检查我的答案。HTHHey wBob,这在scala/python中也是可能的?嘿@VijayKumarSharma,用
translate
函数的更新用法检查我的答案。嗯