[問題] 由二維影像重建3D模型

看板Physics作者 (不下棋)時間9年前 (2015/05/25 22:08), 9年前編輯推噓11(11推 0噓 87→)
留言98則, 9人參與, 最新討論串1/1
不知道在哪個版發問，想說這裡高手也蠻多的 只好來這裡問，也算是有關物理，影像處理的吧~ 在網路上看到一個軟體叫 Agisoft PhotoScan 他可以利用一般相機對著物體拍不同角度的影像 然後利用這些二維的影像重建出三維的影像出來 影片連結如下: https://www.youtube.com/watch?v=ZGxFuprHeck
https://www.youtube.com/watch?v=DzCeHFEUaro
想請問這技術是如何做出來的呢? 有關鍵字可以找技術資料嗎? 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.83.106.69 ※ 文章網址: https://www.ptt.cc/bbs/Physics/M.1432562891.A.84E.html ※ 編輯: wu110011 (111.83.106.69), 05/25/2015 22:11:16 ※ 編輯: wu110011 (111.83.106.69), 05/25/2015 22:15:28
→
05/25 22:23, , 1F
這跟數學板的關係還比較大一點...
05/25 22:23, 1F
→
05/25 22:48, , 2F
醫院就有了阿 電腦斷層掃描
05/25 22:48, 2F
推
05/25 23:47, , 3F
這應該沒有斷層
05/25 23:47, 3F
推
05/26 00:52, , 4F
感覺像數位化全像, 可以去程式相關版問看看
05/26 00:52, 4F
→
05/26 11:20, , 5F
這不是全像
05/26 11:20, 5F
→
05/26 12:44, , 6F
跟物理關係不大吧, 2D影像重建3D模型是很老舊的題目
05/26 12:44, 6F
→
05/26 12:44, , 7F
資工系一般project就有在做。但因計算量大、且效果不佳
05/26 12:44, 7F
→
05/26 12:45, , 8F
近期是搭配主動式掃描器達到 real-time 3D 重建
05/26 12:45, 8F
→
05/26 12:48, , 9F
斷層掃描是 2d rendering, 目的完全不一樣
05/26 12:48, 9F
推
05/26 16:31, , 10F
就tomography阿，本質上跟電腦斷層CT沒太大不同啊，CT
05/26 16:31, 10F
→
05/26 16:31, , 11F
本來目的也是要重建3D，我印象中Goodman的Fourier opt
05/26 16:31, 11F
→
05/26 16:31, , 12F
ics應該有提到這個。顯微術領域ㄧ堆人做tomography。
05/26 16:31, 12F
→
05/26 16:31, , 13F
現在比較夯的，有以EM為基礎的EM Tomography，UIUC、U
05/26 16:31, 13F
→
05/26 16:31, , 14F
CLA、Arizona State都有大咖在搞這個，有的是實驗為主
05/26 16:31, 14F
→
05/26 16:31, , 15F
，有的是發展演算法，中山物理就有老師在做這個。也
05/26 16:31, 15F
→
05/26 16:31, , 16F
有以FIM為基礎發展的Atom probe tomography，這東西
05/26 16:31, 16F
→
05/26 16:31, , 17F
光最基本的機台就破億了，台灣學術界根本沒實驗室玩得
05/26 16:31, 17F
→
05/26 16:31, , 18F
起，不過這機台對材料分析幫助極大，歐美還是很多大
05/26 16:31, 18F
→
05/26 16:31, , 19F
實驗室砸錢下去，雖然現在主要是材料領域的人在玩這
05/26 16:31, 19F
→
05/26 16:31, , 20F
儀器，但是發展這樣技術的人多半是物理領域的，而且這
05/26 16:31, 20F
→
05/26 16:31, , 21F
技術到目前為止還在持續發展，遠遠稱不上成熟。另外，
05/26 16:31, 21F
→
05/26 16:31, , 22F
最近正夯的TPS，其中一個很重要的題目就是3D的CDI，在
05/26 16:31, 22F
→
05/26 16:31, , 23F
建構3D影像那部分的演算法其實跟tomography也是大同小
05/26 16:31, 23F
→
05/26 16:31, , 24F
異。總的來說，除了atom probe機制不太一樣之外，所
05/26 16:31, 24F
→
05/26 16:31, , 25F
有這方面的影像重建演算法，大概都可以算是Fourier光
05/26 16:31, 25F
→
05/26 16:31, , 26F
學的進階應用吧
05/26 16:31, 26F
→
05/26 17:14, , 27F
這應該只是先建point cloud再re-mash
05/26 17:14, 27F
→
05/26 17:14, , 28F
兩張照片找出相同的點，根據照片中的位置反推出
05/26 17:14, 28F
→
05/26 17:15, , 29F
點在空間的位置，等找出一堆點後再重建點與點的連線
05/26 17:15, 29F
→
05/26 17:16, , 30F
應該不需要什麼很貴的器材
05/26 17:16, 30F
→
05/26 17:17, , 31F
不過我也不是很懂，猜的
05/26 17:17, 31F
推
05/26 17:58, , 32F
這跟 CT真的一點關係也沒有XD, CT 是先用 X-ray拿到被
05/26 17:58, 32F
→
05/26 17:58, , 33F
掃描物各個角度的 depth，再回推某一橫切面的幾何構造
05/26 17:58, 33F
→
05/26 17:58, , 34F
藉此看身體內部是否發生異常，重點在 "內部構造"
05/26 17:58, 34F
→
05/26 17:58, , 35F
重建 3D"表面"模型又沒甚麼幫助
05/26 17:58, 35F
→
05/26 17:59, , 36F
這裡的 3D reconstruction, 只要一台相機 + CV 的相關
05/26 17:59, 36F
→
05/26 18:00, , 37F
知識就可以做了，根本不需要幾百萬、幾億的機器
05/26 18:00, 37F
→
05/26 20:58, , 38F
其實重建的演算法是類似的 只是光源不一樣
05/26 20:58, 38F
→
05/26 20:59, , 39F
演算法的部分單然不需要很高級的儀器就能做了
05/26 20:59, 39F
→
05/26 21:00, , 40F
只需要記憶體要很大的電腦能夠處理
05/26 21:00, 40F
→
05/26 21:03, , 41F
影片上用的是可見光 所以只需要處理吸收跟反射的光訊號
05/26 21:03, 41F
→
05/26 21:06, , 42F
當你用到x-ray或者高能電子束 就能重建內部結構
05/26 21:06, 42F
推
05/26 22:36, , 43F
同樓上，只是光源不同而已，演算法根本沒啥差別。用可
05/26 22:36, 43F
→
05/26 22:37, , 44F
見光照不透明物體就是只有表面，用X光或電顯就會有內
05/26 22:37, 44F
→
05/26 22:37, , 45F
部資訊，但表面資訊一樣存在。如果這就算完全不同，
05/26 22:37, 45F
→
05/26 22:37, , 46F
那XRD跟LEED也是完全不同的技術了XD
05/26 22:37, 46F
推
05/26 22:46, , 47F
以前電腦計算速度、記憶體都不夠，CT實際作法的確如d
05/26 22:46, 47F
→
05/26 22:46, , 48F
大所說，但CT這個方法，理論上，比方照大腦，是要重
05/26 22:46, 48F
→
05/26 22:46, , 49F
建整個大腦由內而外的3D影像，一覽無遺。
05/26 22:46, 49F
推
05/27 00:36, , 50F
我覺得這還用不到傅光吧
05/27 00:36, 50F
→
05/27 00:37, , 51F
簡單的三角定位法應該就能解了,原理跟CT不一樣
05/27 00:37, 51F
→
05/27 11:53, , 52F
這個就算把光的相位資訊都丟掉也可以做吧？你如果很
05/27 11:53, 52F
→
05/27 11:53, , 53F
閒的話甚至可以人工的把臉的表面重建出來。
05/27 11:53, 53F
→
05/27 11:54, , 54F
所以這就已經和那些要依賴相位資訊的技術有所分別了
05/27 11:54, 54F
→
05/28 01:32, , 55F
可以先去了解 "image based" 3d rec. 的常見作法與困難
05/28 01:32, 55F
→
05/28 01:33, , 56F
再來腦補好嗎? 已經說了兩者做法完全不一樣，我沒有特
05/28 01:33, 56F
→
05/28 01:34, , 57F
別提到原po的問題, 是因為它的作法大多跟物理一點關係也
05/28 01:34, 57F
→
05/28 01:35, , 58F
沒有。 例如給定兩張照片，你要如何寫一個程式，判斷
05/28 01:35, 58F
→
05/28 01:36, , 59F
A照片的眼睛、嘴巴某個 pixel，對應到B照片的某點
05/28 01:36, 59F
→
05/28 01:38, , 60F
裏頭要考慮到 feature extraction、edge、occlusion 等
05/28 01:38, 60F
→
05/28 01:39, , 61F
這還僅僅只是為了找對應點。做之前還得先處理 camera
05/28 01:39, 61F
→
05/28 01:41, , 62F
calibration； 而 CT 資料那麼充足，只是利用 freq.
05/28 01:41, 62F
→
05/28 01:41, , 63F
domain 搭配 IIR filter 來做資料的投影與影像強化
05/28 01:41, 63F
→
05/28 01:44, , 64F
作法比起來簡單許多，核心演算法哪裡差不多?
05/28 01:44, 64F
推
05/28 20:06, , 65F
你確定你真的明白tomography是什麼嗎
05/28 20:06, 65F
→
05/28 21:36, , 66F
這邊有簡單介紹tomography https://goo.gl/WoQR7q
05/28 21:36, 66F
→
05/28 21:38, , 67F
基本上d大 提到的運算 tomography重建時應該都會處理到
05/28 21:38, 67F
→
05/28 21:40, , 68F
而且取影像的方法是多角度上的projection
05/28 21:40, 68F
→
05/28 21:40, , 69F
所以可以當作是利用相機直接取影像
05/28 21:40, 69F
→
05/29 01:05, , 70F
雖然最核心的topography做法是一樣的，但是樓上幾位可能忽
05/29 01:05, 70F
→
05/29 01:06, , 71F
略了d大說的難關。
05/29 01:06, 71F
→
05/29 01:07, , 72F
CT scan之類的技術是你一顆頭放在那裡不動，sensor給你360
05/29 01:07, 72F
→
05/29 01:08, , 73F
拍一圈。因為儀器都是微調好的，所以每一張數位影像的哪個
05/29 01:08, 73F
→
05/29 01:09, , 74F
pixel是3d空間哪條線的投影我們都已經事先知道了。
05/29 01:09, 74F
→
05/29 01:10, , 75F
但是影片裡面的技術看來是你隨手拿個攝影機拍一圈
05/29 01:10, 75F
→
05/29 01:12, , 76F
所以連攝影機鏡頭的軌跡都必須要從影片裡面算出來。這跟
05/29 01:12, 76F
→
05/29 01:13, , 77F
直接拿已知軌跡來重建3D模型是不同的問題
05/29 01:13, 77F
推
05/29 14:04, , 78F
樓上你說的這個是屬於個別技術細節。像EM tomography
05/29 14:04, 78F
→
05/29 14:05, , 79F
我們說它是跟CT類似的技術，但技術細節也會有很大差
05/29 14:05, 79F
→
05/29 14:06, , 80F
異阿，EM中是電子束(光源)固定不動，旋轉樣品然後收散
05/29 14:06, 80F
→
05/29 14:08, , 81F
射電子訊號。乍聽之下好像軌跡你都可以清楚知道，但EM
05/29 14:08, 81F
→
05/29 14:09, , 82F
中樣品會飄移，樣品旋轉時也不一定完全在軸心上，你可
05/29 14:09, 82F
→
05/29 14:10, , 83F
能覺得那不過是微米甚至奈米級的差距可忽略，但是EM
05/29 14:10, 83F
→
05/29 14:12, , 84F
tomography要重建的目標是atomic scale的，那幾十奈米
05/29 14:12, 84F
→
05/29 14:14, , 85F
的差距，就遠比隨手繞一圈拍照要校正的東西更多。
05/29 14:14, 85F
→
05/30 12:55, , 86F
到底要我說幾次, "這不是 tomography" x N
05/30 12:55, 86F
→
05/30 12:56, , 87F
因為很重要得說N次。 若你您想腦補任何的3d重建技術都跟
05/30 12:56, 87F
→
05/30 12:57, , 88F
CT類似這我管不著，但麻煩不要讓其他版友有類似的錯誤
05/30 12:57, 88F
→
05/30 12:58, , 89F
認知好嗎? 光就產生 depth map 而言，你只要給我 x-ray
05/30 12:58, 89F
→
05/30 12:58, , 90F
掃描後的數據，我馬上就能用 matlab 寫出來
05/30 12:58, 90F
→
05/30 12:59, , 91F
可是光從 color images 要做 depth estimation
05/30 12:59, 91F
→
05/30 13:00, , 92F
要做的事情遠比 CT 還要來的多,而且效果不佳&不夠robust
05/30 13:00, 92F
→
05/30 13:01, , 93F
所以我推文一開始就說，需要搭配主動式掃描器(如kinect)
05/30 13:01, 93F
→
05/30 13:02, , 94F
才有機會把這東西做好
05/30 13:02, 94F
→
05/30 13:07, , 95F
然後也麻煩去"實作" multiple view 3d reconstruction
05/30 13:07, 95F
→
05/30 13:10, , 96F
不要總是用物理看世界，不去實作or了解卻一直 CT來CT去
05/30 13:10, 96F
推
05/30 23:35, , 97F
d大息怒~
05/30 23:35, 97F
推
06/02 08:13, , 98F
題外話，holography可以重建3d image，但跟這無關
06/02 08:13, 98F
‣ 更多 wu110011 的文章
文章代碼(AID): #1LOopBXE (Physics)