Hadoop avro gradle插件示例用法

Hadoop avro gradle插件示例用法,hadoop,gradle,avro,Hadoop,Gradle,Avro,我试图使用,但没有得到任何运气让它工作。有人有任何关于如何使其工作的示例代码吗?我自己想出了如何做。下面是一个片段,我想与可能遇到与我相同问题的人分享: apply plugin: 'java' apply plugin: 'avro-gradle-plugin' sourceCompatibility = "1.6" targetCompatibility = "1.6" buildscript { repositories { maven { // your m

我试图使用,但没有得到任何运气让它工作。有人有任何关于如何使其工作的示例代码吗?

我自己想出了如何做。下面是一个片段,我想与可能遇到与我相同问题的人分享:

apply plugin: 'java'
apply plugin: 'avro-gradle-plugin'

sourceCompatibility = "1.6"
targetCompatibility = "1.6"

buildscript {
  repositories {
    maven { 
      // your maven repo information here
    }
  }
  dependencies {
    classpath 'org.apache.maven:maven-artifact:2.2.1'
    classpath 'org.apache.avro:avro-compiler:1.7.1'
    classpath 'org.apache.avro.gradle:avro-gradle-plugin:1.7.1'
  }
}

compileAvro.source = 'src/main/avro'
compileAvro.destinationDir = file("$buildDir/generated-sources/avro")

sourceSets {
  main {
    java {
      srcDir compileAvro.destinationDir
    }
  }
}

dependencies {
  compileAvro
}
我发现“com.commercehub.gradle.plugin.avro”gradle插件工作得更好

使用以下命令:

// Gradle 2.1 and later
plugins {
  id "com.commercehub.gradle.plugin.avro" version "VERSION"
}

// Earlier versions of Gradle
buildscript {
    repositories {
        jcenter()
    }
    dependencies {
        classpath "com.commercehub.gradle.plugin:gradle-avro-plugin:VERSION"
    }
}
apply plugin: "com.commercehub.gradle.plugin.avro"

更多详细信息,请访问

评估插件时,需要询问以下问题:

  • 生成的文件是否包含在源jar中
  • 插件快吗?好的插件使用avro工具api,而不是为每个文件分叉VM。对于大量文件,为每个文件创建VM可能需要10分钟来编译
  • 您需要中间avsc文件吗
  • 构建是否是增量的(即,除非其中一个源发生更改,否则不要重新生成所有文件)
  • 插件是否足够灵活,可以访问生成的模式文件,以便进行进一步的操作,例如在模式存储库中注册模式
如果您对插件不满意或需要更大的灵活性,那么在没有任何插件的情况下实现它就足够容易了

//
// define source and destination
//
def avdlFiles = fileTree('src/Schemas').include('**/*.avdl')
// Do NOT generate into $buildDir, because IntelliJ will ignore files in 
// this location and will show errors in source code
def generatedJavaDir = "generated/avro/java"

sourceSets.main.java.srcDir generatedJavaDir

//
// Make avro-tools available to the build script
//
buildscript {
    dependencies {
        classpath group:'org.apache.avro', name:'avro-tools' ,version: avro_version
    }
}

//
// Define task's input and output, compile idl to schema and schema to java
//
task buildAvroDtos(){
    group = "build"

    inputs.files avdlFiles
    outputs.dir generatedJavaDir

    doLast{
        avdlFiles.each { avdlFile ->
            def parser = new org.apache.avro.compiler.idl.Idl(avdlFile)
            parser.CompilationUnit().getTypes().each { schema ->
                def compiler = new org.apache.avro.compiler.specific.SpecificCompiler(schema)
                compiler.compileToDestination(avdlFile, new File(generatedJavaDir))
            }
        }
    }
}

//
// Publish source jar, including generated files
//
task sourceJar(type: Jar, dependsOn: buildAvroDtos) {
    from sourceSets.main.allSource
    // Package schemas into source jar
    into("Schemas") { from avdlFiles }
}

// Clean "generated" folder upon "clean" task
clean {
    delete('generated')
}