[問題] 請教 RHadoop 高手
[問題類型]:
程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)
[軟體熟悉度]:
R 使用者 ( RHadoop 幼幼班... @@" )
[問題敘述]:
想請教版上的RHadoop高手或使用者，
是否可以幫我看看我的問題出在哪裡？
最近在嘗試用RHadoop，但不是很理解rmr2裡面
map 跟 reduce 這兩個函數的結構，想找版上高手求救... @@"
是否可以幫我看看我的下列程式是否有錯？
當input file較小時，下面的程式碼可以成功，
但當input file變大時，我的程式碼就會出錯了！
以下為 Error code:
Error: # of failed Map Tasks exceeded allowed limit.
Streaming Command Failed!
Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce, :
hadoop streaming failed with error code 1
感謝前輩幫忙了~~ @@"
[程式範例]:
testdb02 <- mapreduce(
input = "/my_test_file",
map = function(k,v){
val <- matrix( unlist(strsplit(v,"\t")), ncol=18, byrow=TRUE)
colnames(val) <- paste("Col_",1:18,sep="")
key <- matrix(as.double(unlist(strsplit(matrix(unlist(strsplit(val[,1]," ")),2)[2,],":"))),ncol=3,byrow=TRUE)
keyval(key,val)
}
)
http://codepad.org/0PMOmqf2
[關鍵字]:
RHadoop; rmr; mapreduce
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 203.73.70.8
※ 編輯: koai 來自: 203.73.70.8 (12/23 18:14)
→
12/24 17:40, , 1F
12/24 17:40, 1F
→
12/24 22:39, , 2F
12/24 22:39, 2F
→
12/24 22:40, , 3F
12/24 22:40, 3F
→
12/24 22:40, , 4F
12/24 22:40, 4F
→
12/24 22:40, , 5F
12/24 22:40, 5F
→
12/25 14:06, , 6F
12/25 14:06, 6F
推
01/19 11:10, , 7F
01/19 11:10, 7F
→
01/19 11:11, , 8F
01/19 11:11, 8F
→
01/20 13:53, , 9F
01/20 13:53, 9F
推
01/26 00:41, , 10F
01/26 00:41, 10F
推
02/02 13:38, , 11F
02/02 13:38, 11F
→
02/02 13:39, , 12F
02/02 13:39, 12F
→
02/02 13:39, , 13F
02/02 13:39, 13F
→
02/02 13:40, , 14F
02/02 13:40, 14F