Apache spark 火花壳自动导入
我经常使用avro文件,每次启动spark shell时,我都要执行这5个导入Apache spark 火花壳自动导入,apache-spark,Apache Spark,我经常使用avro文件,每次启动spark shell时,我都要执行这5个导入 import org.apache.avro.generic.GenericRecord import org.apache.avro.mapred.AvroKey import org.apache.avro.mapreduce.AvroKeyInputFormat import org.apache.hadoop.io.NullWritable import org.apache.spark.SparkConte
import org.apache.avro.generic.GenericRecord
import org.apache.avro.mapred.AvroKey
import org.apache.avro.mapreduce.AvroKeyInputFormat
import org.apache.hadoop.io.NullWritable
import org.apache.spark.SparkContext
有没有可能每次我启动火花壳时,这些都会自动导入火花壳?我想这已经得到了回答。只需将导入包含在一个文件(
some_file
)中,并在启动spark shell时指定它即可
spak-shell -i some_file
或运行
scala>:load some_file
火花壳启动后