[討論] 必須處理大量資料的時候

看板Database作者 (鼠霸)時間11年前 (2014/11/27 17:54), 11年前編輯推噓5(5推 0噓 2→)
留言7則, 6人參與, 最新討論串1/1
嗨大家~ 其實也有點算作業文啦...不過我實在沒處理這麼多資料的經驗所以還是來問一下 我現在有大約一千萬筆資料，要找一個容器來裝 但我個人過去只有處理過小專案，碰到這麼大筆不知道該如何處理 現在想法是有兩個 一是就用 MySQL 然後拆成好幾個表來裝 二是想嘗試一下 MongoDB 第一個方案是比較保險的 因為 MySQL 我比較熟悉一點點@@ 但既然人在學校就要有點實驗精神(?) 所以也想試試 MongoDB 不知道大家有沒有什麼好意見呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.235.137 ※ 文章網址: http://www.ptt.cc/bbs/Database/M.1417082074.A.6CA.html
推
11/27 20:14, , 1F
mysql 夠用拉
11/27 20:14, 1F
推
11/27 23:32, , 2F
才1000萬筆，還好啦
11/27 23:32, 2F
唔...人家只是很想玩(扭) 這樣子我還是拆表好了XD 謝謝兩位~~
→
11/28 10:30, , 3F
拆成好幾個表不會不方便嗎? 處理資料時每個都要看@@
11/28 10:30, 3F
推
11/28 10:42, , 4F
除非Query效能低落才會考慮拆表說
11/28 10:42, 4F
推
11/28 12:15, , 5F
拆表也沒必要, 弄好index比較實際
11/28 12:15, 5F
推
11/28 12:51, , 6F
弄index，搞好你搜尋的方法比較實際
11/28 12:51, 6F
喔!! 我不知道 index 是什麼東西 剛剛才去狗了一下 那如果說資料的數量上億的話也能受得住嗎? 現在是假定數量會在一千筆上下 是因為我們預估只會抓最近一段時間內的紀錄 但來源的資料增加速度非常快，現在已經破億 之後就不是很確定本地需要保存的量會不會增加...要看老師的意思XD 另外 這些資料在查詢的時候通常會以 物件id + 時間 作為一個聯合起來會唯一的欄位 請大家在好心給我一點意見吧@@ ※ 編輯: p52189 (114.44.14.246), 11/30/2014 04:34:09
→
11/30 05:37, , 7F
guid
11/30 05:37, 7F
‣ 更多 p52189 的文章
文章代碼(AID): #1KTlJQRA (Database)