elasticsearch Elasticsearch日志条目说明

我有大量的ES日志。大多数日志条目如下所示：

[2015-10-23 02:03:55,969][WARN ][org.eclipse.jetty.http.HttpParser] Full [1519893897,-1,m=0,g=6144,p=6144,c=6144]={484D364C793977596E4D756448647062576375593239744C33427962325A7062475666615731685A32567A4C7A59784E5449354E54677A4D5459354D6A67794F4459334D69397353476431646C6C754F56397562334A7459577775616E426E496977696448646C5A58524D5957356E6457466E5A554E765A4755694F694A6C62694973496E52335A57563052325676496A7075645778734C434A6F59584E6F6447466E496A6F694933567962434973496E5A76644756556233526862454E7664573530496A6F774C434A306432566C64456C45496A6F694E6A51324E7A4D304E7A45774D444D314E6A49344D444D7949697769644864706448526C636C567A5A5849694F694A4E656B464E5445784449697769636D567462335A6C496A6F696557567A496977696333566964486C775A534936496E52335A575630496977696447786B496A6F69644864706448526C6369356A623230694C434A326233526C52473933626B4E7664573530496A6F774C434A745A573530615739756379493657794A4E656C394254534973496B31365155314D54454D695853776964584E6C636B6C45496A70756457787366513D3D222C226D657461223A7B2265787069726174696F6E223A302C22666C616773223A33333535343433322C226964223A22636F6D6D656E743A3A2375726C3A3A363337222C22726576223A22322D3030303838633335623238666433626430303030303030303032303030303030227D7D2C7B22626173653634223A2265794A6A623231745A573530496A6F69553256756157397949464E686247567A494556345A574E3164476C325A53776754334A685932786C49457870626E563449435A686258413749465A70636E523159577870656D4630615739754943306754334A685932786C4F69416F49314E68626B5A795957356A61584E6A627977675130457049476830644841364C7939304C6D4E764C334A685133424D5432737A6333416749314E686247567A49434E4B6232496749307076596E4D6749306870636D6C755A794973496E4A6C625739325A57524365565233615852305A584A5464484A6C595730694F694A355A584D694C434A3064326C30644756795158563061473979535551694F6A49774F4449334D6A41304C434A70626E4E6C636E52466347396A614349364D5451304D7A417A4D5455314F43347A4E7A41784D446B73496E56775A4746305A55567762324E6F496A6F784E44517A4D444D784E7A63344C6A677A4E546B7A4E697769615751694F6A45324E5459304C434A6D636D397456564A4D496A6F696148523063446F764C3364336479353064326C30644756794C6D4E76625339306257706663325A7658334E686247567A4C334E3059585231637938324E4459334E44637A4D7A49784D446B344E6A41344E6A51694C434A68645852765357357A5A584A30516E6B694F694A3064326C3064475679553352795A57467449697769646D39305A56567751323931626E51694F6A4173496E5235634755694F694A6A623231745A5735304969776964584E6C636D3568625755694F694A54526942545957786C6379424B62324A7A49697769644864706448526C636C427962325A706247564A6257466E5A56567962434936496D68306448427A4F69387663474A7A4C6E52336157316E4C6D4E7662533977636D396D6157786C58326C745957646C637938794D7A417A4E7A55774D5441784C3078765A323966644731715832356C647A4A6958323576636D316862433577626D63694C434A306432566C64457868626D64315957646C5132396B5A534936496D5675496977696448646C5A5852485A5738694F6E736964486C775A534936496C4276615735304969776959323976636D5270626D46305A584D694F6C737A4E7934334E7A51354D7977744D5449794C6A51784F5451784E6C31394C434A6F59584E6F6447466E496A6F6949334E68626D5A795957356A61584E6A62794973496E5A76644756556233526862454E7664573530496A6F774C434A306432566C64456C45496A6F694E6A51324E7A51334D7A4D794D5441354F4459774F44593049697769644864706448526C636C567A5A5849694F694A306257706663325A7658334E686247567A49697769636D567462335A6C496A6F696557567A496977696333566964486C775A534936496E52335A575630496977696447786B496A6F69644864706448526C6369356A623230694C434A326233526C52473933626B4E7664573530496A6F774C434A745A573530615739756379493657313073496E567A5A584A4A52434936626E56736248303D222C226D657461223A7B2265787069726174696F6E223A302C22666C616773223A33333535343433322C226964223A22636F6D6D656E743A3A2373616E6672616E636973636F3A3A3136353634222C22726576223A22322D3030303838656132653766396265343030303030303030303032303030303030227D7D2C7B22626173653634223A2265794A6A623231745A573530496A6F6949314E766257563061476C755A79427063794269623356304948527649434E6A614746755A32557549476830644841364C7939304C6D4E764C306C4963554A5461585657596D49676148523063446F764C3351755932387663336C75536A644D543252574E434973496E4A6C625739325A57524365565233615852305A584A5464484A6C595730694F694A355A584D694C434A3064326C30644756795158563061473979535551694F6A4D304F4455314E4445334E444973496D6C75633256796445567762324E6F496A6F784E44517A4D7A457A4D6A597A4C6A67344E546B784D5377696458426B5958526C52584276593267694F6A45304E444D7A4D5451784E5467754D5459334D546B334C434A705A4349364D6A4D794E4377695A6E4A766256565354434936496D6830644841364C79393364336375644864706448526C6369356A623230765647686C636D567A5956426C62477776633352686448567A4C7A59304E7A6B794F4467344E7A67304E7A41344F4445794F434973496D46316447394A626E4E6C636E524365534936496E5233615852305A584A5464484A6C595730694C434A326233526C5658424462335675644349364D43776964486C775A534936496D4E766257316C626E51694C434A3163325679626D46745A534936496C526F5A584A6C633245675547567362434973496E5233615852305A584A51636D396D6157786C535731685A325656636D77694F694A6F64485277637A6F764C3342696379353064326C745A79356A6232307663484A765A6D6C735A5639706257466E5A584D764E6A4D334E7A67774D7A597A4E7A51794D7A45774E4441774C31704E54324D745830673158323576636D316862433571634763694C434A306432566C64457868626D64315957646C5132396B5A534936496D5675496977696448646C5A5852485A5738694F6D353162477773496D686863326830595763694F69496A633239745A58526F6157356E49697769646D39305A5652766447467351323931626E51694F6A4173496E52335A575630535551694F6949324E4463354D6A67344F4463344E4463774F4467784D6A67694C434A3064326C306447567956584E6C63694936496C526F5A584A6C633246515A57787349697769636D567462335A6C496A6F696557567A496977696333566964486C775A534936496E52335A575630496977696447786B496A6F69644864706448526C6369356A623230694C434A326233526C52473933626B4E7664573530496A6F774C434A745A573530615739756379493657313073496E567A5A584A4A52434936626E56736248303D222C226D657461223A7B2265787069726174696F6E223A302C22666C616773223A33333535343433322C226964223A22636F6D6D656E743A3A23736F6D657468696E673A3A32333234222C22726576223A22322D3030303030623864386133623561646230303030303030303032303030303030227D7D2C7B22626173653634223A2265794A6A623231745A573530496A6F69556C51675147526C6547686C6157316C636D6F3649464A554F69424E59585230644445354E7A63364945356C5A57516749324E765A6D5A6C5A543867525735305A584967644738674933647062694268626942705932396D5A6D566C494731686132567949475A79623230675532466F62564A6C646D6C6C64334D6849476830644841364C7939304C6D4E764C31567163454932565852486344556749314E68614731535A585A705A58647A49434E7A6432566C63484D67492B4B4170694973496E4A6C625739325A57524365565233615852305A584A5464484A6C595730694F694A355A584D694C434A3064326C30644756795158563061473979535551694F6A49354E44497A4E5459314E6A4173496D6C75633256796445567762324E6F496A6F784E44517A4D7A45344D4445794C6A51334D6A4D314C434A3163475268644756466347396A614349364D5451304D7A4D784F4449344D5334794E4467314E7A4973496D6C6B496A6F794D7A49304F5377695A6E4A766256565354434936496D6830644841364C79393364336375644864706448526C6369356A62323076636D56306432566C64477068646D4576633352686448567A4C7A59304E7A6B304F4467774E4449784D4449794F5449314D434973496D46316447394A626E4E6C636E524365534936496E5233615852305A584A5464484A6C595730694C434A326233526C5658424462335675644349364D43776964486C775A534936496D4E766257316C626E51694C434A3163325679626D46745A534936496B7068646D45694C434A3064326C306447567955484A765A6D6C735A556C745957646C56584A73496A6F696148523063484D364C793977596E4D756448647062576375593239744C33427962325A7062475666615731685A32567A4C7A55304E7A6B304D6A63784E4459334E5463784D6A41774D43394C636A6C6B52464259536C397562334A74595777756347356E496977696448646C5A58524D5957356E6457466E5A554E765A4755694F694A6C62694973496E52335A57563052325676496A7075645778734C434A6F59584E6F6447466E496A6F6949324E765A6D5A6C5A534973496E5A76644756556233526862454E7664573530496A6F774C434A306432566C64456C45496A6F694E6A51334F5451344F4441304D6A45774D6A49354D6A557749697769644864706448526C636C567A5A5849694F694A795A5852335A575630616D463259534973496E4A6C625739325A534936496E6C6C63794973496E4E31596E5235634755694F694A306432566C64434973496E52735A434936496E5233615852305A5849755932397449697769646D39305A5552766432354462335675644349364D4377696257567564476C76626E4D694F6C73695A475634614756706257567961694A644C434A3163325679535551694F6D353162477839222C226D657461223A7B2265787069726174696F6E223A302C22666C616773223A33333535343433322C226964223A22636F6D6D656E743A3A23636F666665653A3A3233323439222C22726576223A22322D3030303030663464376662303266353030303030303030303032303030303030227D7D2C7B22626173653634223A2265794A6A623231745A573530496A6F69497A486967364D34346F4F6A4D4F4B446F7A4469673650776E345778384A2B46735043666870596763326C75593255675A4746354944456749323570593273675A79646B59586B67514342586157356B6332397949456C7562694244636D46694945687664584E6C494768306448427A4F6938766443356A627939745A566F314E6C5A32576B705349697769636D567462335A6C5A454A35564864706448526C636C4E30636D566862534936496E6C6C63794973496E5233615852305A584A426458526F62334A4A524349364D7A51354E7A41784D7A4D794C434A70626E4E6C636E52466347396A614349364D5451304D7A4D794F5467774E6934794E4441324D546373496E56775A4746305A55567762324E6F496A6F784E44517A4D7A4D7A4F5451304C6A49324D7A51794E697769615751694F6A457A4D6A6773496D5A7962323156556B77694F694A6F644852774F693876643364334C6E5233615852305A584975593239744C314E4D5355314E54303555515535424D5467774D43397A6447463064584D764E6A51334F546B344D6A63784E444D334D5451304D445930496977695958563062306C756332567964454A35496A6F69644864706448526C636C4E30636D566862534973496E5A766447565663454E7664573530496A6F774C434A306558426C496A6F69593239746257567564434973496E567A5A584A755957316C496A6F6963327870625778685A6D7868636D55694C434A3064326C306447567955484A765A6D6C735A556C745957646C56584A73496A6F696148523063484D364C793977596E4D756448647062576375593239744C33427962325A7062475666615731685A32567A4C7A59794E5455784E7A41774E5455354E7A45784E444D324F43394A566B314C54585A435446397562334A7459577775616E426E496977696448646C5A58524D5957356E6457466E5A554E765A4755694F694A6C62694973496E52335A57563052325676496A7037496E5235634755694F694A5162326C7564434973496D4E7662334A6B615735686447567A496A70624D7A6B754D7A4D334D4451784C4330334E6934334E544D794F445264665377696147467A614852685A79493649694E7561574E7249697769646D39305A5652766447467351323931626E51694F6A4173496E52335A575630535551694F6949324E4463354F5467794E7A45304D7A63784E4451774E6A51694C434A3064326C306447567956584E6C63694936496C4E4D5355314E54303555515535424D5467774D434973496E4A6C625739325A534936496E6C6C63794973496E4E31596E5235634755694F694A306432566C64434973496E52735A434936496E5233615852305A5849755932397449697769646D39305A5552766432354462335675644349364D4377696257567564476C76626E4D694F6C74644C434A3163325679535551694F6D353162477839222C226D657461223A7B2265787069726174696F6E223A302C22666C616773223A33333535343433322C226964223A22636F6D6D656E743A3A236E69636B3A3A31333238222C22726576223A22322D3030303031643863336662643162303330303030303030303032303030303030227D7D2C7B22626173653634223A2265794A6A623231745A573530496A6F69556C5167514770766147357164326C73624746795A446F674930686C62477876584735436247567A63326C755A334E63626B35686257467A6447556E584735415547397564476C6D5A5867694C434A795A573176646D566B516E6C5564326C3064475679553352795A574674496A6F696557567A49697769644864706448526C636B463164476876636B6C45496A6F7A4D7A6B794D44557A4E6A51794C434A70626E4E6C636E52466347396A614349364D5451304D7A4D7A4E5451354E6934324E6A6B324D6A5973496E56775A4746305A55567762324E6F496A6F784E44517A4D7A4D314E7A4D7A4C6A67314E7A6B794F437769615751694F6A67794D444573496D5A7962323156556B77694F694A6F644852774F693876643364334C6E5233615852305A584975593239744C314A4852555247626D567A6479397A6447463064584D764E6A51344D4449794D544D334D7A51784E6A55334D446734496977695958563062306C756332567964454A35496A6F69644864706448526C636C4E30636D566862534973496E5A766447565663454E7664573530496A6F774C434A306558426C496A6F69593239746257567564434973496E567A5A584A755957316C496A6F6952314A46524559694C434A3064326C306447567955484A765A6D6C735A556C745957646C56584A73496A6F696148523063484D364C793977596E4D756448647062576375593239744C33427962325A7062475666615731685A32567A4C7A597A4D4455304E6A51314E5459324E5459784D4463314D6939734E456B31624549785A46397562334A7459577775616E426E496977696448646C5A58524D5957356E6457466E5A554E765A4755694F694A6C62694973496E52335A57563052325676496A7075645778734C434A6F59584E6F6447466E496A6F694932686C6247787649697769646D39305A5652766447467351323931626E51694F6A4173496E52335A575630535551694F6949324E4467774D6A49784D7A637A4E4445324E5463774F4467694C434A3064326C306447567956584E6C63694936496C4A4852555247626D567A64794973496E4A6C625739325A534936496E6C6C63794973496E4E31596E5235}{}

---

有人能帮我理解吗ES每分钟产生1GB的数据

看来您正在使用某种ES插件，该插件依赖于Jetty 7的古老版本。您看到的结果是传入请求太大，Jetty无法处理（即HTTP 413请求实体太大）。已在Jetty 7.6.3及更早版本中出现，并已在7.6.4及以后的版本中修复

巨大的日志行实际上包含Jetty请求缓冲区的状态和十六进制编码的缓冲区的当前内容。它可以帮助解码十六进制字符串，因为我们可以深入了解问题的原因。看起来您正在发送带有

base64

数据的文档。例如，您发送的其中一个文档末尾有一个

base64

字段和一个

meta

字段：

{"base64":"eyJjb21tZW50IjoiU2VuaW9yIFNhbGVzIEV4ZWN1dGl2ZSwgT3JhY2xlIExpbnV4ICZhbXA7IFZpcnR1YWxpemF0aW9uIC0gT3JhY2xlOiAoI1NhbkZyYW5jaXNjbywgQ0EpIGh0dHA6Ly90LmNvL3JhQ3BMT2szc3AgI1NhbGVzICNKb2IgI0pvYnMgI0hpcmluZyIsInJlbW92ZWRCeVR3aXR0ZXJTdHJlYW0iOiJ5ZXMiLCJ0d2l0dGVyQXV0aG9ySUQiOjIwODI3MjA0LCJpbnNlcnRFcG9jaCI6MTQ0MzAzMTU1OC4zNzAxMDksInVwZGF0ZUVwb2NoIjoxNDQzMDMxNzc4LjgzNTkzNiwiaWQiOjE2NTY0LCJmcm9tVVJMIjoiaHR0cDovL3d3dy50d2l0dGVyLmNvbS90bWpfc2ZvX3NhbGVzL3N0YXR1cy82NDY3NDczMzIxMDk4NjA4NjQiLCJhdXRvSW5zZXJ0QnkiOiJ0d2l0dGVyU3RyZWFtIiwidm90ZVVwQ291bnQiOjAsInR5cGUiOiJjb21tZW50IiwidXNlcm5hbWUiOiJTRiBTYWxlcyBKb2JzIiwidHdpdHRlclByb2ZpbGVJbWFnZVVybCI6Imh0dHBzOi8vcGJzLnR3aW1nLmNvbS9wcm9maWxlX2ltYWdlcy8yMzAzNzUwMTAxL0xvZ29fdG1qX25ldzJiX25vcm1hbC5wbmciLCJ0d2VldExhbmd1YWdlQ29kZSI6ImVuIiwidHdlZXRHZW8iOnsidHlwZSI6IlBvaW50IiwiY29vcmRpbmF0ZXMiOlszNy43NzQ5MywtMTIyLjQxOTQxNl19LCJoYXNodGFnIjoiI3NhbmZyYW5jaXNjbyIsInZvdGVUb3RhbENvdW50IjowLCJ0d2VldElEIjoiNjQ2NzQ3MzMyMTA5ODYwODY0IiwidHdpdHRlclVzZXIiOiJ0bWpfc2ZvX3NhbGVzIiwicmVtb3ZlIjoieWVzIiwic3VidHlwZSI6InR3ZWV0IiwidGxkIjoidHdpdHRlci5jb20iLCJ2b3RlRG93bkNvdW50IjowLCJtZW50aW9ucyI6W10sInVzZXJJRCI6bnVsbH0=","meta":{"expiration":0,"flags":33554432,"id":"comment::#sanfrancisco::16564","rev":"2-00088ea2e7f9be400000000002000000"}},

解码

base64

字段将生成此文档，它似乎是来自Twitter API的某种推文

{
  "comment": "Senior Sales Executive, Oracle Linux & Virtualization - Oracle: (#SanFrancisco, CA) http://t.co/raCpLOk3sp #Sales #Job #Jobs #Hiring",
  "removedByTwitterStream": "yes",
  "twitterAuthorID": 20827204,
  "insertEpoch": 1443031558.370109,
  "updateEpoch": 1443031778.835936,
  "id": 16564,
  "fromURL": "http://www.twitter.com/tmj_sfo_sales/status/646747332109860864",
  "autoInsertBy": "twitterStream",
  "voteUpCount": 0,
  "type": "comment",
  "username": "SF Sales Jobs",
  "twitterProfileImageUrl": "https://pbs.twimg.com/profile_images/2303750101/Logo_tmj_new2b_normal.png",
  "tweetLanguageCode": "en",
  "tweetGeo": {
    "type": "Point",
    "coordinates": [
      37.77493,
      -122.419416
    ]
  },
  "hashtag": "#sanfrancisco",
  "voteTotalCount": 0,
  "tweetID": "646747332109860864",
  "twitterUser": "tmj_sfo_sales",
  "remove": "yes",
  "subtype": "tweet",
  "tld": "twitter.com",
  "voteDownCount": 0,
  "mentions": [],
  "userID": null
}

因此，您有两个选择：

您需要弄清楚在ES安装中使用Jetty的是什么，并确保至少升级到Jetty 7.6.4

您可能需要一次发送少量文档，如果您使用批量请求，则可能需要降低每个批量中包含的文档数

---

你安装了什么插件<代码>curl'localhost:9200/_cat/plugins？v'可能与Ty重复。我认为这是couchbase elasticsearch传输插件造成的。我只有Head、HQ、kopf和运行的传输插件，很可能就是这样。