_ | 覦覈襦 | 豕蠏手 | 殊螳 | 譯殊碁
FrontPage › HiveTuning

Contents

1 一 貉 曙
2 郁鍵


1 一 貉 曙 #

:

gamelog 企 date_key, log_no襦 一 企企.
螳 一 る 暑 貎朱Μ襯 碁.
蠏碁磯 1螳 蟇碁Μ 蟆企.
hive> set hive.execution.engine=mr;
hive> select log_no
    > from gamelog
    > where 1=1
    > and date_key=20181228
    > group by log_no;

願屋:
覓語 覈襯願朱 覃讌襯 危エ覲企 蟆.
伎 hive螳 input data size襯 譟碁 豢 蟆 .
hive.png

蠏碁 碁 一 り るジ 一危磯 譟壱襦 伎.
hive> select log_no, count(get_json_object(log_string, '$.1') cnt
    > from gamelog
    > where 1=1
    > and date_key=20181228
    > group by log_no;

2 郁鍵 #

蠍一 ろ
set hive.mapred.reduce.tasks.speculative.execution =true;

map 襴蠍(襯 蟆 襦 map螳 企)
set mapreduce.input.fileinputformat.split.maxsize=1048576; 
蠍 蠍郁鍵..
企: : るジ讓曙 襦螻豺 企Ν 譯殊語. 襦螻豺
EditText : Print : Mobile : FindPage : DeletePage : LikePages : Powered by MoniWiki : Last modified 2019-01-17 18:08:48

螳 磯殊 蟆螻 . 豌 れ 讌襷 谿谿 襷讌.