将CDR摄取到hadoop中

将CDR摄取到hadoop中,hadoop,bigdata,flume,cdr,Hadoop,Bigdata,Flume,Cdr,我刚刚开始研究一个hadoop用例,它可以近实时地分析CDR。 CDR编码在ASN1.1中。远程服务器由CDR定期提供数据。我想知道如何将此服务器中的CDR接收到集群中,并对其进行解码以生成可由Hive(或Spark Streaming…)处理的CSV文件 Flume是否适合接收此类数据?你认为我应该什么时候解码ASN1.1,在摄入之前还是之后?我有一个用C编写的程序,用于解码ASN1.1。 如果Flume适合接收数据,我是应该在包含初始数据的服务器中实现Avro客户端,还是有其他合适的方法?H

我刚刚开始研究一个hadoop用例,它可以近实时地分析CDR。 CDR编码在ASN1.1中。远程服务器由CDR定期提供数据。我想知道如何将此服务器中的CDR接收到集群中,并对其进行解码以生成可由Hive(或Spark Streaming…)处理的CSV文件

Flume是否适合接收此类数据?你认为我应该什么时候解码ASN1.1,在摄入之前还是之后?我有一个用C编写的程序,用于解码ASN1.1。
如果Flume适合接收数据,我是应该在包含初始数据的服务器中实现Avro客户端,还是有其他合适的方法?

Hi-Medi,想知道您是否找到了解决方案,有一些软件可以将CDR转换为CSV格式,然后可以将此CSV发送到HDFS。