[心得] ArcGIS用電腦
這是我在PC-Shopping板的文章
給有興趣的人參考一下
------------------------------正文開始---------------------------------
小弟我是一個使用ArcGIS的工作者
有時運行比較吃資源的功能 或是處理的範圍比較大(通常都是一個國家範圍)
有時候跑一跑就好幾個小時 不開心的時候還可以跟你跑個好幾天
我是可以等 但是甲方和經理就會一直催XD
所以一直很想知道怎樣的電腦設備可以讓ArcGIS跑起來最快最順
可以幫我省點時間 做事也比較有效率
前陣子常常逛電蝦版 只能說這版實在太可怕了
被燒到把本來要戰5年的1230 v3賣掉換成i7-5820K
看看換成x99能不能真的插久久
再加上因緣際會之下有機會接觸 Dual E5-2620 v3的電腦
難得有機會用到這麼多核的電腦
所以就決定來測試一下ArcGIS到底在怎樣的電腦上跑比較適合
於是就有了這篇文章了
不過要先說 我的測試沒有這麼嚴謹 大家參考參考就好
畢竟有很多變因我無法控制
然後這篇文很長 如果沒耐心直接看結論就可以了XDDD
--------------------------------------------------------------------------
電腦一
CPU: i7-5820K OC 4.4GHz
MB: Asus X99-M WS
RAM: Kingston DDR4 16GB 2133MHz*2
HDD: Toshiba 3TB
SSD: Toshiba Q300 Pro 256G
電腦二
CPU: E5-2620 v3*2
MB: unkonw
RAM: DDR3 36GB
HDD: unknow
電腦三
CPU: i5-4570
MB: unknow
RAM: DDR3 4GB 1600MHz*2
HDD: Toshiba 2TB
以下測試就以CPU型號當做每台電腦的代號
使用OS皆為Windows 7 Ultimate 64Bit
ArcGIS軟體為 ArcGIS 10.4.1
運行資料為Aster Global Digital Elevation Model(30M) https://goo.gl/EdYYq6
The Earth’s Relief (15M) https://goo.gl/aOf3RC
資料範圍為全台灣的DEM
在ArcGIS裡面 雖然有說ArcGIS 10以後的版本都支援多核心&多CPU
但是更詳細的內容有提到 大部分的Function是用一個核心跑ArcGIS 一個跑Function
而不是我認為的用兩個以上的核心去跑Function
這樣的多核支援根本算是全殘...
不過另外也有提到 有幾個Function是真的可以用兩個以上的核心去跑的
可以這樣跑的Function大部分都在Geostatistical Analyst(GA)裡面
這些才有參數可以設定你要用幾個核心去跑 其他都是沒有的
詳細情形可以看這裡 https://goo.gl/Szppcw
再來可以跑多核心的就是ArcGIS Server的cache了
所以只會測這兩項
以下測試會分為
1. 全殘多核Function測試
(Raster to Polygon, Select by attribute, Aggregate, Contour, Smooth Line)
2. 多核Function測試(Geostatistical Grid, Cache)
3. SSD和HDD測試(Cache部分)
P.S. 裡面會看到Full和Auto Full是指關掉CPU省電功能 Auto則是打開
1. 全殘多核Function測試(其實我很想說根本單核性能測試)
1-1 Raster to Polygon
http://imgur.com/a/l4rrc
這裡的測試沒有E5那一台的電腦 因為是後來才增加的測試項目
這裡可以看到5820K的處理速度大概是快了將近兩倍
把省電功能關掉也可以增加將近15%的效能
1-2 Select by Attribute
http://imgur.com/a/z6kUo
這裡的結果也不太意外
E5的時脈較低 在單核部分被兩顆高時脈的CPU慘電是正常的
在這部分E5的效率只有5820K的37% 基本上應該算是海放惹
i5的表現還算可以 有77%
1-3 Aggregate
http://imgur.com/a/H4Ygp
在這項功能測試裡
E5和i5分別有68%和84%的5820K效能
E5的效能和上面的效能差距有點大 差了將近兩倍有
不太確定原因 目前只能推測是功能運算上也許差異
1-4 Contour
http://imgur.com/a/s1H0i
這裡可以看到5820K在開啟省電的狀況下表現最差 但是跟E5的成績差不多
關閉省電之後從花49秒變成29秒 效能成長70% 跟第一個項目的增加15%差了很多
E5和i5則是跟上面那項測試結果差不多 i5速度還是比E5快20~30%
1-5 Smooth Line
http://imgur.com/a/bpEBW
這一項測試一樣沒有E5
這大概是i5表現最差的一項測試
跟5820K Auto差距來到54%
5820K Full跟Auto的效能 跟第一項測試差不多 差了18%
上一項差了70%有點誇張...
2. 多核Function測試
2-1 Geostatistical Grid
http://imgur.com/a/8j4OL
這一項也是後來加測的 一樣沒有E5
不過從這裡就可以看出多核心的優勢了
5820K的效率比i5的效率高了兩倍以上
2-2 Cache 不同電腦測試
ArcGIS Cache的資料輸出比較特別 有Bundle和Exploded兩種格式
Bundle是把Cache資料打包成ㄧ個比較大檔案
Exploded則是維持Cache原始的小檔(10K左右)
前者的硬碟負擔比較小 後者因為小檔寫入的關係 會很吃硬碟速度
這裡我會把兩種檔案格式的結果都列出來
http://imgur.com/a/kJsMt
這裡可以看到一路挨打的E5終於可以出一口氣了
成績和5820K相去不遠 但處理速度將近i5的兩倍
這裡比較有趣的是 E5的Bundle和Exploded兩種資料格式的速度是差不多的
我推測可能不明原因導致E5的bundle變慢 不然bundle應該是會快蠻多的
2-3 Cache 不同電腦同核心數測試
這裡是想單純看看用相同核心數去跑 是否高時脈的還是一樣會勝出
http://imgur.com/a/7Ahf8
這裡可以看到 跟推測的一樣
時脈的高低還是會影響結果 5820K大概贏了20%左右
後來才想到也許也有可能是不同系列的CPU影響?
以後有機會在測試同CPU不同時脈跑的結果吧XD
2-4 Cache 同CPU不同核心數測試
這裡是想看看確定多核心到底能夠增加多少效能
http://imgur.com/a/2bMhQ
這裡可以看到 愈多的核心的確可以增加愈多的效能
4核到8核的時後增加了約60%的效能 8核到12核的時候也增加了60%的效能
真想拿個24核的來試看看是不是這樣一直60%增加下去XD
2-5 Cache SSD VS HDD
因為我推測Bundle和Exploded兩種資料格式會因為硬碟讀取效率有差異
所以多測了這項
P.S. XXX to YYY 是指input資料在XXX output cache在YYY
SSD to SSD和HDD to HDD 資料和Cache都是不同硬碟 避免影響
http://imgur.com/a/JM4aR
可以發現在Bundle格式的時候 不管在哪種硬碟裡面作業
效能其實都差不多的 只差了1%左右
但是在Exploded的時候就不一樣了
可以看到資料output在SSD的時候速度是最快的
如果output在HDD的時候可能低到剩60%左右的效能
-----------------------------------------------------------------------------
結論:
1. 取消CPU省電功能，跑Function時有較好的效能。
2. 如果不會使用多核Function時，買電腦的時候選時脈高的會比較有幫助。
3. 使用多核Function時，核心數及時脈高對效能都有一定的提升作用。
4. 本次測試下，對多核心功能而言，高時脈的幫助可能大於多核心。
(6C12T VS 12C24T還是贏這樣 不過不排除ArcGIS對雙CPU優化太差的可能性XD)
以上提供給想買電腦的ArcGIS使用者做參考
--
推
02/28 23:14,
02/28 23:14
推
02/28 23:15,
02/28 23:15
推
02/28 23:15,
02/28 23:15
推
02/28 23:15,
02/28 23:15
推
02/28 23:15,
02/28 23:15
→
02/28 23:15,
02/28 23:15
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.248.178.196
※ 文章網址: https://www.ptt.cc/bbs/GIS/M.1480596370.A.C27.html
→
12/01 22:00, , 1F
12/01 22:00, 1F
→
12/02 08:48, , 2F
12/02 08:48, 2F
跑Geoprocessing tools的話其實沒差 除非ESRI的網頁騙我XD
請參考https://goo.gl/ozHLOH
節錄
Are geoprocessing tools faster in ArcGIS Pro?
Geoprocessing performance is roughly equivalent between ArcGIS Pro and
ArcMap.
ESRI解釋多核心和平行運算
One additional note: multithreaded is not the same thing as parallel
processing! Parallel processing is a technique which splits up a big job into
many smaller jobs and allows multiple CPUs or processes to work on the big
job at the same time, often resulting in faster processing time. A growing
number of geoprocessing tools leverage parallel processing to improve
performance. In the first release of Pro, there are 25 tools that support
parallel processing, including a number of geostatistics tools and Spatial
Analyst tools.
這裡可以解釋多核心和平行運算在tools裡面的差別
多核心對於Geoprocessing tools是沒有用的 除非是有支援平行運算的tools
所以除非你要跑有支援平行運算的tools
不然選核心超過4個的CPU可能都是多餘的 不如選時脈高的CPU
ArcGIS Pro 支援平行運算tools請參考https://goo.gl/yRbqJJ
ArcGIS 10.4 支援平行運算tools請參考https://goo.gl/Szppcw
P.S.其實Pro有支援平行運算的tools 在10.4裡面大部分都有
※ 編輯: freshego (49.214.81.253), 12/02/2016 11:10:23
→
12/04 19:12, , 3F
12/04 19:12, 3F
那就是原廠的資訊騙我QQ
請問是哪個分析工具 我也來測試一下:)
※ 編輯: freshego (123.204.62.144), 12/05/2016 08:55:23
→
12/05 14:11, , 4F
12/05 14:11, 4F
感謝 等我裝好ArcGIS pro來測一下
--測試結果--
ArcGIS Pro ArcGIS 10.4.1
Contour 45.0 57.6
Select by attribute 11.8 44.0
Raster to polygon 813.8 486.6
Smooth 27.9 29.6
在Contour部份 ArcGIS Pro大概是快有將近30%的速度 但是好像沒有4倍這麼多
在Smooth部分 ArcGIS Pro也是比較快 但是差距大概在10%內
以上兩個是用內政部20M的做出來的結果
Select by attribute這邊ArcGIS Pro就真的有快到4倍了
推測是64位元的系統有產生效果?
不過在Raster to ploygon部分 104.4.1快大概有70%左右
以上兩個是用另外的資料跑的 因為台灣的範圍太大要跑好久XD
結論是
我想快或慢可能隨著tools不同會有變化
所以官方才不敢說誰比較快 所以給個差不多快的說法吧
P.S. 以上資料都是跑5次後平均的時間
※ 編輯: freshego (123.204.62.144), 12/06/2016 17:29:37
推
12/14 19:33, , 5F
12/14 19:33, 5F