[問題] 應用迴圈於資料處理的效率
[問題類型]:
效能諮詢(我想讓R 跑更快)
[軟體熟悉度]:
入門(寫過其他程式，只是對語法不熟悉)
[問題敘述]:
R 的迴圈真的是非常慢
[程式範例]:
我有一個很大的 data.table 物件，名稱為 tbl_left，是由 fread 讀入文字檔案
建立的，大小為 1821350 x 24。這 24 欄裡面其中一個叫做 ID，其型態為 character。
另有一個較小的 data.table，名稱為 tbl_right，也是由 fread 建立的，大小為
1289 x 24。這 24 欄裡面也有一個叫做 ID，型態也是 character。
現在我執行 tbl_joined <- dplyr:::left_join(tbl_left, tbl_right, by = "ID")
產生一個新的物件 tbl_joined，發現它有 1821479 列，比原來 tbl_left 的 1821350
還多了 129 列。研究了一下，發現是因為 tbl_right 裡面有些列的 ID 欄位有重覆的，
所以 join 到 tbl_left 之後，會有多出來的列。
為了找出究竟是哪些重覆的 ID 造成此結果，我做的步驟如下：
[1] 首先，用 distinct(select(tbl_right, ID)) 得到的結果有 1159 列，得知有
1289 - 1159 = 130 列是重覆的
[2] 用以下程式
right_ID <- select(tbl_right, ID)
right_ID_sorted <- sort(right_ID$ID)
right_ID_dup = rep(" ", 130) # create a character vector of length 130
j = 1
for (i in 1:(length(right_ID_sorted)-1)) {
if (right_ID_sorted[i] == right_ID_sorted[i+1]) {
right_ID_dup[j] <- right_ID_sorted[i]; j <- j+1
}
}
如此得到的 right_ID_dup 就是所有在 tbl_right 中有重覆的 ID 值
[3] 再來要找出 right_ID_dup 裡面，又有哪些值同時存在 tbl_left$ID
(所以才會被 join 進來)，用以下程式
for (tgt_ID in right_ID_dup) {
for (j in 1:length(tbl_left$ID)) {
if (tgt_ID == tbl_left[j]$ID) cat(tgt_ID, "\n")
}
}
結果這程式跑得非常的慢！跑了兩個小時只印出兩個值，於是放棄此方法。
上網搜尋，得到以下解法：
tst <- c(unique(tbl_left$ID), unique(right_ID_dup))
comm_ID <- tst[duplicated(tst)]
此法很快就得出結果，comm_ID 長度為 87，所以現在知道有 87 個 ID 值，
是同時存在 tbl_left 與 tbl_right 的。
[4] 最後，要找出這 87 個 ID 值，總共在 tbl_right 中出現了幾次，寫了以下程式
occur_total <- 0
for (elem in comm_ID) {
occur <- 0
for (j in 1:length(tbl_right$ID)) {
if (elem == tbl_right[j]$ID) occur <- occur + 1
}
occur_total <- occur_total + occur
}
cat("Total: ", occur_total, "\n")
結果印出 Total: 216
所以總共的重覆次數為 216 - 87 = 129。可以解釋為何經過 join 之後，結果比
原來的 tbl_left 多了 129 列。
但是。。。這個程式跑得也有點慢，大概近 5 分鐘才跑完。我想原因跟 [3] 的程式
是相同的，亦即是
==> R 的迴圈就是很慢！
因此我的問題如下：
(1) R 的迴圈為何可以慢成這樣? 我知道有研究過底層的高手理解來龍去脈，但對於
新手而言，有沒有什麼簡單的說法可以 give some insight?
(2) [4] 的程式有什麼替代解法可以跑得比較快的?
(3) [2] 的程式雖然不慢，但我相信高手可以提出更快更適合 R 的寫法
[環境敘述]:
R version 3.2.1 (2015-06-18)
Platform: x86_64-apple-darwin13.4.0 (64-bit)
Running under: OS X 10.10.4 (Yosemite)
locale:
[1] zh_TW.UTF-8/zh_TW.UTF-8/zh_TW.UTF-8/C/zh_TW.UTF-8/zh_TW.UTF-8
attached base packages:
[1] stats graphics grDevices utils datasets methods base
other attached packages:
[1] dplyr_0.4.2 data.table_1.9.4 magrittr_1.5
loaded via a namespace (and not attached):
[1] lazyeval_0.1.10 R6_2.0.1 assertthat_0.1 plyr_1.8.3 parallel_3.2.1 DBI_0.3.1 tools_3.2.1 reshape2_1.4.1 Rcpp_0.11.6
[10] stringi_0.5-5 stringr_1.0.0 chron_2.3-47
[關鍵字]:
迴圈、data.table、dplyr
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.127.14.10
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1438686610.A.4DE.html
→
08/04 19:52, , 1F
08/04 19:52, 1F
→
08/04 19:53, , 2F
08/04 19:53, 2F
→
08/04 19:53, , 3F
08/04 19:53, 3F
→
08/04 19:56, , 4F
08/04 19:56, 4F
→
08/04 19:57, , 5F
08/04 19:57, 5F
→
08/04 19:58, , 6F
08/04 19:58, 6F
討論串 (同標題文章)
以下文章回應了本文 (最舊先)：
完整討論串 (本文為第 1 之 5 篇)：