Re: [討論] 雲端計算的保衛戰--Mail Service

看板Soft_Job作者 (下班後才下棋)時間14年前 (2010/01/07 14:19), 編輯推噓12(12推 0噓 49→)
留言61則, 11人參與, 最新討論串16/31 (看更多)
剛好今天請個假休息 這邊請有興趣的人思考幾個問題 我有一個很需要 computing power 的問題要解 理論分析告訴我要 1000 個月才算得完 所以我需要一個 framework 或 platform 我把我想要做的事情用它的描述法描述出來 那這個 platform 就可以幫我開始處理 如果我覺得機器數不夠可以買來再加進這個 platform 不需要再去更改原本的程式 理論上一千台機器就可以讓我在一個月內做完 (當然這是理論值, 如果你的 worker node 需要彼此溝通 那效率就沒辦法線性, 因為溝通會造成一些 performance impact) 1. How ? 2. 當今的 VM 能幫上什麼忙 ? 或是問題可以改成這個樣子 我有很多檔案要存, 大概 50 Peta Bytes 吧! 我希望透過一個簡單的介面能存取 某些資料還能拿去前面那個平台使用 如果有 redundancy 更好 1. How ? 2. 當今的 VM 能幫上什麼忙 ? 有些聽得到但是摸不到的東西 比如說 GFS / BigTable 有些看得到但鮮少人在玩的東西 比如說 Hadoop / HBase 有些看得到但要花錢玩的 service 比如說 ec2 / s3 雲端計算喊得很熱 但是到底是想要解決什麼問題 能不能有人很精確的回答得出來 ? -- 有時候，遺忘，是令人快樂的。什麼時候？當然是有人傷了你的心的時候。 　存心傷你的那個人，固然是故意和你過不去，但是被傷了心而耿耿於懷的你 　，卻是和自己過不去了。所以，記性不好的人，通常會是比較快樂的人，也 　是比較不容易被擊倒的人。 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.112.30.49
推
01/07 14:35, , 1F
推薦這一篇，這才比較是雲端運算的真正的核心思考，雖然
01/07 14:35, 1F
→
01/07 14:35, , 2F
跟 Grid 多少有點重疊。 XD
01/07 14:35, 2F
→
01/07 14:36, , 3F
基本上雲端沒討論到 scalibity 跟 resizable capacity
01/07 14:36, 3F
→
01/07 14:37, , 4F
就很難說是在討論雲端。
01/07 14:37, 4F
推
01/07 14:42, , 5F
用一開始開題的人提到的 mail service，討論怎麼建構
01/07 14:42, 5F
→
01/07 14:43, , 6F
server, 使用哪些服務，都很難說是雲端，但是提供webmail
01/07 14:43, 6F
→
01/07 14:43, , 7F
或是提供 webapi 或其他平台服務等等，這些才是在討論雲
01/07 14:43, 7F
→
01/07 14:45, , 8F
端，因為這才有討論到 "cloud" 跟 "computing"
01/07 14:45, 8F
推
01/07 14:47, , 9F
發現打錯，是 Scalability 才對。
01/07 14:47, 9F
推
01/07 15:06, , 10F
原 PO 講的，跟 BONIC 有什麼不同嗎？
01/07 15:06, 10F
推
01/07 15:16, , 11F
BOINC
01/07 15:16, 11F
→
01/07 16:05, , 12F
Hadoop + Hbase是不錯的solution。
01/07 16:05, 12F
推
01/07 16:12, , 13F
i think auto scale-out is the key of cloud computing
01/07 16:12, 13F
推
01/07 16:33, , 14F
1.其實不用把 "V"M 想的太狹義
01/07 16:33, 14F
→
01/07 16:33, , 15F
2.聽聞台灣有人在準備加入 https://opencirrus.org/
01/07 16:33, 15F
→
01/07 16:34, , 16F
opencirrus 需要提通一定比例的 resouce 給大家使用
01/07 16:34, 16F
推
01/07 22:06, , 17F
早在雲端運算這個口號出現前 ORACLE就在推GRID了
01/07 22:06, 17F
→
01/07 22:08, , 18F
其實我也不懂一千台機器跟一千個月這個理論值是怎麼換算出
01/07 22:08, 18F
→
01/07 22:09, , 19F
如果一千台機器的運算量可以抵過一台機器一千個月的計算量
01/07 22:09, 19F
→
01/07 22:09, , 20F
CPU的發展早在Pentium時代就會朝多核心而不是朝高時脈演進
01/07 22:09, 20F
→
01/07 22:13, , 21F
互不相干本來就是除 1000 ....
01/07 22:13, 21F
推
01/07 22:15, , 22F
互不相干的話為何會是一個很需要computing power的問題?
01/07 22:15, 22F
→
01/07 22:17, , 23F
比如說你要做 search 問題, search space 很大, 但是各
01/07 22:17, 23F
→
01/07 22:17, , 24F
branch 互不相干, 請問你不能 divide and conquer 嗎 ?
01/07 22:17, 24F
推
01/07 22:21, , 25F
你都說D&C了 這種問題就丟給grid就好了 跟雲端有何關係?
01/07 22:21, 25F
→
01/07 22:24, , 26F
請循其本, 你問理論值怎麼來, 我說不相干的情況下是這樣算的
01/07 22:24, 26F
→
01/07 22:24, , 27F
我也說過了互相溝通的情況下會有 performance impact
01/07 22:24, 27F
→
01/07 22:25, , 28F
只是最特例的情況下最好能到理論值, 也就是 grid computing
01/07 22:25, 28F
→
01/07 22:26, , 29F
而雲端有一項任務, 就是讓多加一個 node 能夠越接近線性, 也
01/07 22:26, 29F
→
01/07 22:26, , 30F
就是 grid computing 的理論值越好, 簡單的說就是想辦法把
01/07 22:26, 30F
→
01/07 22:27, , 31F
commutication cost 給最佳化到夠小, 至少到可承受的地步
01/07 22:27, 31F
推
01/08 00:18, , 32F
那你到底是在討論雲端計算還是格網計算?
01/08 00:18, 32F
→
01/08 00:31, , 33F
關卿何事? XD
01/08 00:31, 33F
→
01/08 00:41, , 34F
一艘船要1000個月才能渡過大洋
01/08 00:41, 34F
→
01/08 00:43, , 35F
理論上一千艘船就可以讓我在一個月內渡過海洋
01/08 00:43, 35F
推
01/08 00:49, , 36F
適合用雲端就用雲端, 不適合用雲端就別用. 就醬子而已. 讓有
01/08 00:49, 36F
→
01/08 00:50, , 37F
需求有問題要解決的人自己去決定.
01/08 00:50, 37F
→
01/08 00:51, , 38F
雲端就是個計算機科學跟商業應用的結合,google推這概念雖說
01/08 00:51, 38F
→
01/08 00:52, , 39F
創新意味不高,但應該跟它正進行及未來要進行的計畫關係甚密.
01/08 00:52, 39F
→
01/08 00:54, , 40F
只是google名氣已大,它提這名詞出來,各家廠商順便搭順風車也
01/08 00:54, 40F
→
01/08 00:55, , 41F
順便幫google抬轎,形成一股'潮流'.
01/08 00:55, 41F
→
01/08 01:11, , 42F
一艘船要航行 1000 次才能把貨物運完, 請 1000 條船能讓你
01/08 01:11, 42F
→
01/08 01:11, , 43F
一次搞定
01/08 01:11, 43F
→
01/08 01:11, , 44F
有這麼難嗎? 下次我去問問念國小的學生看看 ._.
01/08 01:11, 44F
→
01/08 12:44, , 45F
你原本說的是時間 所以我拿時間來舉個例
01/08 12:44, 45F
→
01/08 12:44, , 46F
然後又被扯到數量 有這麼難嗎?
01/08 12:44, 46F
→
01/08 12:45, , 47F
量化的東西理論上是可以依數量變化而減少時間需求
01/08 12:45, 47F
→
01/08 12:46, , 48F
但前提應該要是可以分割的吧
01/08 12:46, 48F
→
01/08 12:46, , 49F
你要不要拿我提的問題去問小學生看看?
01/08 12:46, 49F
→
01/08 12:48, , 50F
minstrelsy您的一千艘船渡大洋怎麼會是拿時間做例子？
01/08 12:48, 50F
→
01/08 12:48, , 51F
那叫量化。
01/08 12:48, 51F
→
01/08 12:51, , 52F
我是指原po原本舉的例子 是以時間為單位
01/08 12:51, 52F
→
01/08 12:52, , 53F
1台機器要花1個月 => 1艘船花1個月
01/08 12:52, 53F
→
01/08 12:52, , 54F
1台機器花1000個月 => 1艘船花1000個月
01/08 12:52, 54F
→
01/08 12:53, , 55F
1000台機器花1個月 => 1000艘船花1個月
01/08 12:53, 55F
→
01/08 12:54, , 56F
只是想說 不是每個東西都可以這樣推論的
01/08 12:54, 56F
→
01/08 13:05, , 57F
你自己都知道機器可以, 船不行, 怎麼還拿出來講呢? XDDD
01/08 13:05, 57F
→
01/08 13:05, , 58F
乖~ 多想想再寫喔
01/08 13:05, 58F
→
01/08 18:42, , 59F
您這充其量叫照樣造句，不是舉例。 (煙
01/08 18:42, 59F
→
01/08 21:09, , 60F
.....
01/08 21:09, 60F
→
01/08 22:04, , 61F
這邏輯...
01/08 22:04, 61F
‣ 更多 ledia 的文章
文章代碼(AID): #1BHNq0p3 (Soft_Job)
討論串 (同標題文章)
以下文章回應了本文 (最舊先)：
完整討論串 (本文為第 16 之 31 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共31篇)
‣ 更多 ledia 的文章
文章代碼(AID): #1BHNq0p3 (Soft_Job)