错误重载方法值regexp\u替换为替代项
我试图用空格(“”)替换dataframe df_测试中名为UserAgent的列中的数据中的“/”字符 列中的数据如下所示:错误重载方法值regexp\u替换为替代项,regex,scala,apache-spark-sql,databricks,regexp-replace,Regex,Scala,Apache Spark Sql,Databricks,Regexp Replace,我试图用空格(“”)替换dataframe df_测试中名为UserAgent的列中的数据中的“/”字符 列中的数据如下所示: val df_test =spark.sql(s"select replace(UserAgent, '/', '') AS UserAgent from tmp") df_test.show Mozilla/5.0(Windows NT 6.1;WOW64;Trident/7.0;rv:11.0)类似Gecko 我试过使用 val df_test =spark.s
val df_test =spark.sql(s"select replace(UserAgent, '/', '') AS UserAgent from tmp")
df_test.show
Mozilla/5.0(Windows NT 6.1;WOW64;Trident/7.0;rv:11.0)类似Gecko
我试过使用
val df_test =spark.sql(s"select UserAgent from df_header_pivot")
df_test.withColumn("UserAgent", regexp_replace("UserAgent", "[/]", ""))
但我收到了错误信息:
笔记本:4:错误:重载方法值regexp\u替换为替代项:
(e:org.apache.spark.sql.Column,模式:org.apache.spark.sql.Column,替换:org.apache.spark.sql.Column)org.apache.spark.sql.Column
(e:org.apache.spark.sql.Column,模式:String,替换:String)org.apache.spark.sql.Column
无法应用于(org.apache.spark.sql.ColumnName、org.apache.spark.sql.Column)
df_test.withColumn(“UserAgent”,regexp_replace($“UserAgent”,lit(“/”))
在
regexp\u replace
函数中,需要在列名之前使用$
符号。
导入org.apache.spark.sql.functions_
val df_test=spark.sql(s“从df_头_轴选择用户代理”)
df_test.withColumn(“UserAgent”,regexp_replace($“UserAgent”,“[/]”,“”))
您需要在regexp_replace
函数的列名前使用$
符号。
导入org.apache.spark.sql.functions_
val df_test=spark.sql(s“从df_头_轴选择用户代理”)
df_test.withColumn(“UserAgent”,regexp_replace($“UserAgent”,“[/]”,“)
当您使用SparkSQL时,您只需在SQL本身中调用replace
函数,例如:
val df_test =spark.sql(s"select replace(UserAgent, '/', '') AS UserAgent from tmp")
df_test.show
或者使用translate
功能替换不需要正则表达式的字符,例如
df_test
.withColumn("UserAgent", translate($"UserAgent", "/", ""))
.show
不需要正则表达式。在使用SparkSQL时,只需在SQL本身中调用
replace
函数,例如:
val df_test =spark.sql(s"select replace(UserAgent, '/', '') AS UserAgent from tmp")
df_test.show
或者使用translate
功能替换不需要正则表达式的字符,例如
df_test
.withColumn("UserAgent", translate($"UserAgent", "/", ""))
.show
不需要正则表达式。回答得好,Vijay!回答得好,维杰!嘿,wBob,这在scala/python中也是可能的?嘿@VijayKumarSharma,用更新的
translate
函数检查我的答案。HTHHey wBob,这在scala/python中也是可能的?嘿@VijayKumarSharma,用translate
函数的更新用法检查我的答案。嗯