Scala 压缩输出烫伤/级联TSV压缩

因此，人们在压缩包括我在内的大量工作的产出方面一直存在问题。在谷歌搜索之后，我在某个不知名的论坛上得到了一个奇怪的答案，但没有任何东西适合人们的复制和粘贴需求

---

我想要一个像Tsv这样的输出，但是写的是压缩输出。

无论如何，经过多次验证后，我成功地写了一个Tsv压缩输出，似乎可以完成这项工作（您仍然需要设置hadoop作业系统配置属性，即将compress设置为true，并将编解码器设置为合理的值或默认设置为蹩脚的deflate）

---

无论如何，经过多次验证后，我成功地编写了一个TSV压缩输出，它似乎完成了这项工作（您仍然需要设置hadoop作业系统配置属性，即将compress设置为true，并将编解码器设置为合理的值或默认设置为蹩脚的deflate）

---

我还有一个小项目，展示了如何从

Tsv

实现压缩输出

---

滚烫正在将

null

设置为级联

textdelimeterd

参数，该参数禁用压缩。

我还有一个小项目，展示如何从

Tsv

实现压缩输出

---

滚烫将

null

设置为禁用压缩的级联

textdelimeterd

参数。

谢谢，我看了看。mapreduce.output.fileoutputformat.compress.type

BLOCK

做什么？它是压缩类型之一（记录、块、无）来自Hadoop。更多信息。基本上，不是单独压缩每条记录，而是将其压缩成块。块大小也应该在Hadoop中定义。谢谢，我看了看。mapreduce.output.fileoutputformat.compress.type

Block

做什么？它是压缩类型之一（记录、块、无）更多信息。基本上，不是单独压缩每条记录，而是将其压缩成块。块大小也应该在Hadoop中定义。

import com.twitter.scalding._
import cascading.tuple.Fields
import cascading.scheme.local
import cascading.scheme.hadoop.{TextLine, TextDelimited}
import cascading.scheme.Scheme
import org.apache.hadoop.mapred.{OutputCollector, RecordReader, JobConf}

case class TsvCompressed(p: String) extends FixedPathSource(p) with DelimitedSchemeCompressed

trait DelimitedSchemeCompressed extends Source {
  val types: Array[Class[_]] = null

  override def localScheme = new local.TextDelimited(Fields.ALL, false, false, "\t", types)

  override def hdfsScheme = {
    val temp = new TextDelimited(Fields.ALL, false, false, "\t", types)
    temp.setSinkCompression(TextLine.Compress.ENABLE)
    temp.asInstanceOf[Scheme[JobConf,RecordReader[_,_],OutputCollector[_,_],_,_]]
  }
}