Java Spark上的任务不可序列化
我有一个这样的转变：Java Spark上的任务不可序列化,java,scala,serialization,Java,Scala,Serialization,我有一个这样的转变： JavaRDD<Tuple2<String, Long>> mappedRdd = myRDD.values().map( new Function<Pageview, Tuple2<String, Long>>() { @Override public Tuple2<String, Long> call(Pageview pageview) throws Exception {
JavaRDD<Tuple2<String, Long>> mappedRdd = myRDD.values().map(
new Function<Pageview, Tuple2<String, Long>>() {
@Override
public Tuple2<String, Long> call(Pageview pageview) throws Exception {
String key = pageview.getUrl().toString();
Long value = getDay(pageview.getTimestamp());
return new Tuple2<>(key, value);
}
});
Class[] c = new Class[1];
c[0] = Pageview.class;
sparkConf.registerKryoClasses(c);
JavaSerializer.scalaKryoSerializerPageviewSerializer...
//String key = pageview.getUrl().toString();
//Long value = getDay(pageview.getTimestamp());
String key = "Dummy";
Long value = 1L;
return new Tuple2<>(key, value);
...
。。。
//String key=pageview.getUrl（）.toString（）；
//Long value=getDay（pageview.getTimestamp（））；
String key=“Dummy”；
长值=1L；
返回新的Tuple2（键，值）；
...
public class Test {
private static Function s = new Function<Pageview, Tuple2<String, Long>>() {
@Override
public Tuple2<String, Long> call(Pageview pageview) throws Exception {
String key = pageview.getUrl().toString();
Long value = getDay(pageview.getTimestamp());
return new Tuple2<>(key, value);
}
};
}
公共类测试{
私有静态函数s=新函数（）{
@凌驾
公共元组2调用（Pageview Pageview）引发异常{
String key=pageview.getUrl（）.toString（）；
Long value=getDay（pageview.getTimestamp（））；
返回新的Tuple2（键，值）；
}
};
}