[問題] hadoop map reduce如何一次跑三種reduce

看板java作者cklonger (22)時間13年前 (2012/08/10 14:52)推噓4(4推 0噓 6→)

留言10則, 6人參與討論串1/1

我的問題是要把一個大log檔倒入db後再下sql select att_id , max(timestamp) , min(timestamp) , count(1) from table_a 這件事改成用hadoop的map reduce做我已經寫好分別對 max, min , count三件事的的reducer att_id是map output key, value前兩個Map來的是timestamp 包成longwritable 後面一個的是intwritable 但是要分成三次來做，實在是浪費了兩次maper的處理時間而且分成三個輸出，要再另外合併請問有沒有辦法在一次reduce裡完成 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 210.69.230.190

→

PsMonkey

08/10 14:54, , 1^F

08/10 14:54, 1^F

→

cklonger

08/10 15:30, , 2^F

08/10 15:30, 2^F

推

qrtt1

08/10 18:23, , 3^F

08/10 18:23, 3^F