在數值計算領(ling)域，牛(niu)頓迭代法（Newton's method）是(shi)一個經典而強大的工具(ju)。

然而在學習它(ta)時(shi)，我總覺得許多網上的教程在解釋(shi)其原理時(shi)有些“隔靴撓癢”——它(ta)們詳(xiang)細展示(shi)了(le)迭代公式 “是(shi)什么”（What）以及(ji) “如何(he)用”（How），卻鮮少觸及(ji) “為何(he)是(shi)這個形式”（Why）的邏(luo)輯起點。

因此我嘗試撰寫一篇博客來捋清牛頓迭代法的整個邏輯鏈條。不同于抽象的公式推導，本文嘗試從幾何視角揭示其內在邏輯，展示如何通過切線來逐步(bu)逼近(jin)并求解方(fang)程的根。

一、迭代過程的幾何解釋

想象一條光滑的曲線 \(y = f(x)\)，它與 \(x\) 軸存在一個交點。我們的目標就是找到這個交點——即方程 \(f(x) = 0\) 的根，我們稱之為 \(x_{target}\)。

我們無法直接“看”到 \(x_{target}\) 在哪里，但可以從一個初始猜測值 \(x_0\) 出發，然后按照一個規則不斷“改進”這個猜測，使其一步步逼近 \(x_{target}\)。牛頓法就(jiu)是這個“改進(jin)”的(de)規則。

給定一個當前的猜測點 \(x_n\)，迭代過程如下：

1. 作切線：在點 \((x_n, f(x_n))\) 處作函數 \(f(x)\) 的(de)(de)切(qie)線。根據導數的(de)(de)定義，這(zhe)條(tiao)切(qie)線的(de)(de)方程為：

   \[y = f(x_n) + f'(x_n)(x - x_n) \]

2. 求交點：我們用這條切線來近似 \(f(x)\)。我們想求 \(f(x)=0\) 的根，所以我們轉而求解這條切線與 \(x\) 軸的交點，即令 \(y=0\)。設這個交點的橫坐標為 \(x_{n+1}\)：

   \[0 = f(x_n) + f'(x_n)(x_{n+1} - x_n) \]

3. 得迭代公式：假設 \(f'(x_n) \neq 0\)，我們可以解出 \(x_{n+1}\)，它就是我們“更近一步”的猜測值：

   \[x_{n+1} = x_n - \frac{f(x_n)}{f'(x_n)} \]

我們不斷重復這個過程（用 \(x_{n+1}\) 作為新的 \(x_n\)），就能產生一個序列 \(x_0, x_1, x_2, \dots\)。

二、迭代的幾何直覺：為什么牛頓迭代法能收斂到根？怎么收斂的？

牛頓迭代法(fa)的有(you)效性（即為(wei)什么(me)牛頓法(fa)能收斂到根）基(ji)于兩(liang)個觀察到的關鍵事實：

1. 局部線性化：在根 \(x_{target}\) 附近的局部區域內，任何光滑函數（可導函數）都可以用其切線很好地近似。一言以蔽之，在局部區域內，切線是曲線的線性逼近。
2. 迭代改進：只要 \(x_n\) 離根 \(x_{target}\) 足夠近，切線與 \(x\) 軸的交點 \(x_{n+1}\) 通常會比 \(x_n\) 更接近 \(x_{target}\)。

那為什么通過 \(x_{n+1} = x_n - \frac{f(x_n)}{f'(x_n)}\) 這(zhe)(zhe)個(ge)公式(shi)來迭代是能(neng)收斂到根(gen)的？其內(nei)在邏輯是什么？許多教程都將這(zhe)(zhe)個(ge)關鍵點當作“顯然易見”了，我在此嘗試(shi)明晰一二(er)：

1. 如果在“非根點” \(x_n\) 處（\(f(x_n) \neq 0\)）：
   只要 \(f(x_n) \neq 0\)，迭代公式的修正項 \(-\frac{f(x_n)}{f'(x_n)}\) 就不為零。這意味著 \(x_{n+1}\) 必定異于 \(x_n\)。換句話說，只要你沒猜中，這個過程就會強迫你移動到一個新的猜測點。根據迭代改進，這個新的猜測點通常會更接(jie)近“目標根點”。

2. 如果在“目標根點” \(x_{target}\) 處（\(f(x_{target}) = 0\)）：
   假設我們某一次“運氣好”，迭代到了 \(x_n = x_{target}\)。此時 \(f(x_n) = f(x_{target}) = 0\)。讓我們看看迭代公式會發(fa)生什么：

   \[x_{n+1} = x_{target} - \frac{f(x_{target})}{f'(x_{target})} = x_{target} - \frac{0}{f'(x_{target})} = x_{target} \]

   迭代結果 \(x_{n+1}\) 等于 \(x_n\)！迭代自動停止了。

這就是牛頓法的核心動機：

牛頓法將“求解 \(f(x)=0\)”的問題，巧妙地轉化成一個更易于計算的問題：為了“尋找迭代函數 \(g(x) = x - \frac{f(x)}{f'(x)}\) 的不動點（Fixed Point）”。

• 這個迭代過程被設計為：在“非根”處它會移動，在“根”處它會停止。
• 我們所有的努力（“迭代過程的幾何解釋”）都是為了構造這樣一個 \(g(x)\)。
• 而我們對這個方法的信心（“為什么有效”）則來源于：在根附近，這種“移動”大概率是“移向”根的，而不是“移走”。

當函數在根附近滿足某些正則性條件（主要是 \(f'(x_{target}) \neq 0\) 且函數足夠光滑）時，這個過程會以驚人的速度收斂——這在數學上被稱為“二次收斂”（Quadratic Convergence），粗略地說，這(zhe)意味著每迭(die)代一(yi)次，結果的有效數(shu)字（或精度）大約會(hui)翻倍。

三、迭代如何停止：收斂的直觀判斷

理解了根是“不動點”后，我們就知道該如何停止計算了。我們不能（也沒必要）無限地迭代下去，直到 \(x_n\) 完美地等于 \(x_{target}\)。在實際計算中，我們會設定一個很小的閾值 \(\varepsilon\)（例如 \(10^{-7}\)）作為可接受(shou)的(de)誤差。

當迭代“幾乎”停(ting)止時，我們就認為找到(dao)了解。

1. 兩次迭代的差值足夠小：\(|x_{n+1} - x_n| < \varepsilon\)
   • 幾何意義：新的近似點 \(x_{n+1}\) 與舊的近似點 \(x_n\) 幾乎重合了。
   • 動機聯系：這正是在逼近 \(x_{n+1} = x_n\) 這個“不動點”特性。這個判據在說：“迭代的步長已經小到可以忽略了，我們很可能已經到達了不動點（根）的附近”。
2. 函數值足夠小：\(|f(x_n)| < \varepsilon\)
   • 幾何意義：點 \((x_n, f(x_n))\) 已經非常靠近 \(x\) 軸了。這是最直觀的判據，因為我們的目標就是讓 \(f(x)\) 趨近于0。

回顧我們的迭代公式 \(x_{n+1} - x_n = - \frac{f(x_n)}{f'(x_n)}\)。只要 \(f'(x_n)\) 不是一個極端值（既不接近0也不無窮大），那么步長 \(|x_{n+1} - x_n|\) 趨近于0，就等價于函數值 \(|f(x_n)|\) 趨近于0。

四、實際應用示例：計算 \(\sqrt{a}\)

我們來用牛頓法解決一個經典問題：計算 \(\sqrt{a}\)（其中 \(a > 0\)）。

• 第一步：將問題轉化為 \(f(x) = 0\) 的形式。
  求 \(\sqrt{a}\) 等價于求解 \(x = \sqrt{a}\)，兩邊平方得 \(x^2 = a\)，即 \(x^2 - a = 0\)。
  所以，我們設 \(f(x) = x^2 - a\)。

• 第二步：求導數。
  \(f'(x) = 2x\)

• 第三步：代入牛頓迭代公式 \(x_{n+1} = x_n - \frac{f(x_n)}{f'(x_n)}\)。

  \[x_{n+1} = x_n - \frac{x_n^2 - a}{2x_n} \]

  化簡這個式子：

  \[x_{n+1} = \frac{2x_n^2 - (x_n^2 - a)}{2x_n} = \frac{x_n^2 + a}{2x_n} \]

  最終我們得到一個非常簡(jian)潔的迭代公(gong)式：

  \[x_{n+1} = \frac{1}{2}\left(x_n + \frac{a}{x_n}\right) \]

  例如，要計算 \(\sqrt{2}\)，我們可以從 \(x_0 = 1\) 開始迭代：

  • \(x_1 = \frac{1}{2}(1 + \frac{2}{1}) = 1.5\)
  • \(x_2 = \frac{1}{2}(1.5 + \frac{2}{1.5}) \approx 1.41666...\)
  • \(x_3 = \frac{1}{2}(1.41666... + \frac{2}{1.41666...}) \approx 1.4142156...\)
  • ... 很快就能收斂到 \(\sqrt{2} \approx 1.41421356...\)

五、注意事項與局限

盡管牛頓法(fa)收斂速度快，但它存在不少局限性：

• 初始值敏感：選擇的初始值 \(x_0\) 必須“足夠接近”目標根。如果 \(x_0\) 離根太遠，或者選在了“壞”的區域（例如 \(f'(x)\) 接近0的區域），迭代可能會發散；在 \(f(x)=0\) 有多個根的情況下，也可能因為初始點選得不好，而收斂到另一個意料之外的根。
• 導數要求：此方法需要計算函數的一階導數 \(f'(x)\)。在某些復雜問題中，求導可能很困難。
• 駐點陷阱：如果迭代過程中某一步的 \(x_n\) 恰好使 \(f'(x_n) = 0\)（駐點，切線為水平線），那么 \(x_{n+1}\) 將無定義（除以零），算法失敗。如果 \(x_n\) 接近 \(f'(x) = 0\) 的點，也會導致數值不穩定。

總結

牛頓迭代法是數學和工程學中的一個基石。從幾何上看，它是一個“用切線交點逼近曲線根點”的迭代過程。但從其內在邏輯上看，它更是巧妙地構造了一個“不動點”迭代，使其(qi)不動(dong)點恰好就是我們想求的根，從而利用函數的局部線性(xing)特性(xing)，以（通常）極快的二次收(shou)斂速度(du)找(zhao)到方程的解。