極值判別法則 Part 1

看板trans_math作者math1209 (.......................)時間16年前 (2009/12/16 17:58)推噓3(3推 0噓 17→)

留言20則, 3人參與討論串1/1

※ 引述《midarmyman (midarmyman)》之銘言： : 偏微分求極值時，判別式大於零之外， : 還要看fxx如果>0就是極小，反之 : 請問為啥要看fxx不看fyy? : 遇到一題變數不是x.y不知道該看哪個(不過都正) [我先給 Part 1, 假使有必要後面還有 Part 2-5.] 以下將講多變數函數世界裡頭的極值判別法則，而單變數中的極值判別法則相對於多變數中的極值判別法則來的簡單，故省略。 (引理) 命 f：S → |R, 其中 S is open in |R^n with a in S, 且 f 於ａ點有方向導數。若 f(ａ) 為極值點，則 D_u f(ａ) ＝ 0. ↓ kth component 特別地，選取 u ＝ u_k ＝ (0,...,1,...,0), 則 D_k f(ａ) ＝ 0 for all k ＝ 1,2,...,n. 也就是說，此時 ▽f(ａ)＝0. 因此，欲深究一內點ａ是否為極值點，我們就必須先假定 ▽f(ａ)＝0. 再來回憶 f(ａ＋ｋ) ＝ f(ａ) ＋ ▽f(ａ)．ｋ＋ (1/2!) ＜Hｋ,ｋ＞＋ R_ａ,2(ｋ), 其中 H ＝ H(ａ), Hessian matrix of f at ａ. NOTE. 只要談論到極值問題往往就會涉及到泰勒定理(具備餘項)。 (主定理) 假定 ▽f(ａ)＝0, 即ａ點為 critical point, 且二階偏導數 D_i,j f(ｘ) 存在於 B(ａ), 且連續於ａ點上。 (1) 若＜ Hｋ,ｋ＞恆正 for all ｋ ≠ 0, 則 f(ａ) 為 local minimum. (2) 若＜ Hｋ,ｋ＞恆負 for all ｋ ≠ 0, 則 f(ａ) 為 local maximum. (3) 若＜ Hｋ,ｋ＞有正有負，則ａ點為 saddle point (鞍點)。 (鞍點定義) 若ａ為 critical point 且對於任意的 B(ａ) 中有點ｘ, ｙ使得 f(ｘ) ＞ f(ａ) 且 f(ｙ) ＜ f(ａ) 則稱ａ點為鞍點。由此可見，鞍點必定不是極值點。 Proof. 我們需要兩個 lemmas: (lemma 1) 若 H＞0，則必存在一正數 c, 使得＜ Hｋ,ｋ＞ ≧ c|ｋ|^2 for all ｋ. (lemma 2) |R_ａ,2(ｋ)|/|ｋ|^2 → 0 as ｋ→ 0. 由上述兩引理，可證明此主定理。 NOTE. (i) 由二階偏導數 D_i,j f(ｘ) 存在於 B(ａ), 且連續於ａ點上, 可知 H 為對稱矩陣，即 H^t ＝ H. (ii) 對一個對稱矩陣 H 而言，當＜ Hｋ,ｋ＞恆正 for all ｋ ≠ 0, 我們稱 H 為正定，且記為 H ＞ 0. 當＜ Hｋ,ｋ＞恆負 for all ｋ ≠ 0, 我們稱 H 為負定，且記為 H ＜ 0. (正定原文為 positive definite, 負定原文為 negative definite.) 因此根據上述主定理可知：當ａ為 critical point 時，且 Hessian matrix H(ａ) ＞ 0 表示 f(ａ) 有局部極小。簡記為 {▽f(ａ) ＝ 0} ＋ {H(a) ＞ 0} ＝＞ f(ａ): local min. 當ａ為 critical point 時，且 Hessian matrix H(ａ) ＜ 0 表示 f(ａ) 有局部極大。簡記為 {▽f(ａ) ＝ 0} ＋ {H(a) ＜ 0} ＝＞ f(ａ): local max. (iii) ╭ D_11 f(ａ) ．．． D_1n f(ａ) ╮╭ k_1 ╮ ╭ k_1 ╮ ＜Hｋ,ｋ＞＝＜ │ ．．．．．．．．． ││ ． │ │ ． │＞ ╰ D_n1 f(ａ) ．．． D_nn f(ａ) ╯╰ k_n ╯ ,╰ k_n ╯ n n ＝ Σ Σ D_ij f(ａ) k_i k_j. i＝1 j＝1 即 H:|R^n→|R by H(k):＝＜Hｋ,ｋ＞. 如此之 H 稱為二次型 (Quadratic form.) (iv) 主定理告訴了我們一件重要的事情：在主定理的假設底下，餘項對我們來說一點也不重要，也就是說餘項不會影響到函數本身的極值問題。即腦海要想著 f(ａ＋ｋ) ～ f(ａ) ＋ (1/2!) ＜Hｋ,ｋ＞ (因 ▽f(ａ) ＝ 0) 這樣一來，f(ａ＋ｋ) － f(ａ) ～ (1/2!) ＜Hｋ,ｋ＞. 因此，f(ａ＋ｋ) － f(ａ) 的正負可由＜Hｋ,ｋ＞決定之。 (v) 最後提到一點線性代數，他將用在 Part 2 裡頭的推論 1. 對一個對稱矩陣 H 而言： H ＞ 0 ＜＝＞ H 的所有 eigenvalues 都必須恆正。 H ＜ 0 ＜＝＞ H 的所有 eigenvalues 都必須恆負。 -- Good taste, bad taste are fine, but you can't have no taste. -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 220.133.4.14

→

math1209

12/16 18:01, , 1^F

12/16 18:01, 1^F

→

midarmyman

12/16 18:13, , 2^F

12/16 18:13, 2^F

→

midarmyman

12/16 18:14, , 3^F

12/16 18:14, 3^F