Re: [理工] 線代 102交大 svd

看板Grad-ProbAsk作者 (going faster)時間6年前 (2019/12/28 15:26), 6年前編輯推噓5(5018)
留言23則, 4人參與, 6年前最新討論串2/2 (看更多)
※ 引述《ching4562 (monster710623)》之銘言: : https://i.imgur.com/UhN9ST2.jpg
: https://i.imgur.com/9lFqTr9.jpg
: 問一下(b)圈起來的地方為何會相等? SVD的方向目前沒什麼想法 從另一個觀點解的話 在Ax=b有解的情況下(即b屬於A的行空間) x屬於Rn 由列空間是零空間的orthogonal complement可知 x可以分解成y+z 其中y屬於A的列空間z屬於A的零空間 再由 ||x||^2 = ||y||^2 + ||z||^2 可知最小2-norm的解必定屬於列空間 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.46.0.66 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Grad-ProbAsk/M.1577517990.A.513.html

12/28 16:31, 6年前 , 1F
這是證Ax = b 的minimal solution在A的列空間的方式
12/28 16:31, 1F

12/28 16:31, 6年前 , 2F
但題目要證的是Ax = b 的 minimal least square solutio
12/28 16:31, 2F

12/28 16:31, 6年前 , 3F
n 也在A的列空間 我覺得方向應該差不多 但可能還是要從A
12/28 16:31, 3F

12/28 16:31, 6年前 , 4F
+的方向下手??
12/28 16:31, 4F
我試著寫一下 假設A為一m*n 矩陣,rankA = r -> v1~vr為列空間的基底,vr+1~vn為零空間的基底。 以下用S代表sigma Ax = b = USV^Tx x = V(S^+)U^Tb, xi = (ui^T b/si) vi 可知解x皆為vi的線性組合 -> 屬於列空間。 若n = r,零空間只有0,解唯一。 若n > r,存在齊次解使得一般解等於特殊解加上齊次解。 使得xi = Sigma(i=1~r) (u^T b/si) vi + Sigma(i=r+1~n) civi 再來相似於前面畢氏定理的說明,可知最小2-norm的x屬於列空間。

12/28 16:44, 6年前 , 5F
其實就把Ax=b改成A^T*Ax=A^Tb就好了 也可以得到x屬
12/28 16:44, 5F

12/28 16:44, 6年前 , 6F
於Rn
12/28 16:44, 6F
※ 編輯: DLHZ (114.46.0.66 臺灣), 12/28/2019 17:17:08

12/28 17:47, 6年前 , 7F
least square solution 可以寫成 particular solution
12/28 17:47, 7F

12/28 17:47, 6年前 , 8F
+ general solution 而general solution 又是屬於Nul
12/28 17:47, 8F

12/28 17:47, 6年前 , 9F
l space 所以 長度最短的least square solution 等於
12/28 17:47, 9F

12/28 17:47, 6年前 , 10F
求 least square solution 減掉他在null space的投影
12/28 17:47, 10F

12/28 17:47, 6年前 , 11F
這又相當於直接投影在row space 上
12/28 17:47, 11F

12/28 18:00, 6年前 , 12F
樓上p大說的應該不是general solution而是homogeneous so
12/28 18:00, 12F

12/28 18:00, 6年前 , 13F
lution?
12/28 18:00, 13F

12/28 18:01, 6年前 , 14F
我發現我寫的就跟樓主一樣意思 哈哈 可是least square
12/28 18:01, 14F

12/28 18:01, 6年前 , 15F
solution 就是屬於Ax=b 的行空間 所以算的方式就跟算
12/28 18:01, 15F

12/28 18:01, 6年前 , 16F
minimal solution 一樣不是嗎
12/28 18:01, 16F

12/28 18:01, 6年前 , 17F
哦對 我說錯了 抱歉
12/28 18:01, 17F

12/28 18:06, 6年前 , 18F
我的想法是 particular solution + homogenous soluti
12/28 18:06, 18F

12/28 18:06, 6年前 , 19F
on 也可以寫成 particular solution - homogeneous so
12/28 18:06, 19F

12/28 18:06, 6年前 , 20F
lution 這樣子算shortest 的意思就是算 particular so
12/28 18:06, 20F

12/28 18:06, 6年前 , 21F
lution 跟null space 的距離 所以就是用 least square
12/28 18:06, 21F

12/28 18:06, 6年前 , 22F
solution - 在null space的投影 這樣就等於直投影在r
12/28 18:06, 22F

12/28 18:06, 6年前 , 23F
ow space
12/28 18:06, 23F
文章代碼(AID): #1U1mEcKJ (Grad-ProbAsk)
討論串 (同標題文章)
文章代碼(AID): #1U1mEcKJ (Grad-ProbAsk)