Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop MapReduce内部连接?_Hadoop_Mapreduce - Fatal编程技术网

Hadoop MapReduce内部连接?

Hadoop MapReduce内部连接?,hadoop,mapreduce,Hadoop,Mapreduce,我想将日志条目与GeoIP数据库连接起来。这是我的 在我的日志文件中,我提取IP地址(外键)作为密钥。和rest条目作为值 在GeoIP数据库中,我有一系列到特定国家(IPFROM、IPTO、Country)的IP地图 现在我不知道如何连接这两个字段,以及使用哪一个连接 如果我理解正确,您希望在日志文件中获取给定Ip地址的国家名称 您可以通过导出数据库表来创建一些csv 然后您可以使用分布式缓存概念来读取该文件同意这一点。但是如何用IP映射国家,因为GeoIP有一系列IP映射到一个国家?请发布一

我想将日志条目与GeoIP数据库连接起来。这是我的

  • 在我的日志文件中,我提取IP地址(外键)作为密钥。和rest条目作为值

  • 在GeoIP数据库中,我有一系列到特定国家(IPFROM、IPTO、Country)的IP地图


  • 现在我不知道如何连接这两个字段,以及使用哪一个连接

    如果我理解正确,您希望在日志文件中获取给定Ip地址的国家名称

    您可以通过导出数据库表来创建一些csv


    然后您可以使用分布式缓存概念来读取该文件

    同意这一点。但是如何用IP映射国家,因为GeoIP有一系列IP映射到一个国家?请发布一个数据库的样本记录和日志文件中的一行样本是固定长度的IP范围?IP记录:
    208.76.134.132---[23/Oct/2012:03:18:09+0000]“PUT/apple/apple.htm HTTP/1.1”200 1809“-”“MDM/1.0”
    GeoIP数据:
    “2.58.64.0”、“2.58.143.255”、“UA”、“基辅市”、“基辅”