R squared 越高越好嗎？揭開這個統計指標的真實面貌

嘿，您是不是在處理數據分析，然後遇到了 R squared 這個指標，心裡正納悶「R squared 越高越好嗎？」別擔心，這個問題困擾著不少剛接觸統計模型的朋友們。我自己也曾經有過這樣的迷惘，總覺得數字越大代表一切越完美，但實際操作起來，情況可就沒那麼單純了。今天，我就要來跟您好好聊聊 R squared，深入解析它到底代表什麼，以及為什麼「越高不一定越好」，希望能讓您對這個指標有更全面、更清晰的認識。

Table of Contents

R squared 究竟是個什麼東東？

簡單來說，R squared，也就是「判定係數」或「決定係數」，是統計學上用來衡量一個迴歸模型（regression model）的解釋能力有多強的指標。它告訴我們，在您所建立的模型裡，自變數（independent variables）能夠解釋多少依變數（dependent variable）的變異（variation）。

想像一下，您正在試圖預測房子的價格。您可以考慮很多因素，像是房屋的坪數、地點、屋齡、是否有捷運站等等。R squared 就是在衡量，您選取的這些因素（自變數），合起來能夠解釋房子價格（依變數）有多少比例的變動。它通常介於 0 到 1 之間，有些情況下，雖然少見，但理論上也可以是負值。

關鍵的數字意義：

R squared = 0： 這表示您的模型幾乎無法解釋依變數的任何變異。自變數跟依變數之間幾乎沒有線性關係。
R squared = 1： 這表示您的模型能夠完美地解釋依變數的所有變異。理論上，這代表您的模型非常精準，但現實中幾乎不可能達到。
R squared 介於 0 和 1 之間： 這表示您的模型能夠解釋依變數一部分的變異。例如，如果 R squared 是 0.75，那就代表您的模型可以解釋依變數 75% 的變異，剩下的 25% 則是由模型未包含的其他因素所造成。

為什麼「R squared 越高越好」不總是對的？

這就是我們要深入探討的重點了！雖然高 R squared 聽起來很誘人，代表模型有很強的解釋力，但事實上，過度追求高 R squared 可能會導向錯誤的方向，甚至讓您的模型變得不那麼實用。以下是幾個主要原因：

1. 過度擬合（Overfitting）的陷阱

這是追求高 R squared 最常見也最嚴重的問題。當您加入越來越多的自變數到模型中，即使有些變數與依變數的關聯性很小，甚至只是隨機的雜訊，R squared 通常還是會上升。為什麼呢？因為模型試圖去「捕捉」每一個數據點的微小變動，包括那些偶然的成分。這樣一來，模型在您用來訓練它的數據上表現會非常出色（R squared 很高），但當您拿新的、未見過的數據來測試這個模型時，它的預測能力就會大打折扣。這就像一個學生死記硬背課本的題目，考試時一遇到稍微變化一點的題目就束手無策了。

舉個例子：

假設您在分析冰淇淋銷量和游泳人數之間的關係。單純看，這兩者可能有正相關。但如果您為了提高 R squared，硬是加入「今天的天氣是不是晴朗」、「昨天有沒有下雨」、「昨天晚上有沒有觀星」這些跟冰淇淋銷量關聯性不大的變數，您的模型在歷史數據上的 R squared 可能會飆升。但這樣的模型，您覺得能準確預測明天的冰淇淋銷量嗎？恐怕不行，因為它捕捉到的只是歷史數據的「巧合」，而非真正的因果關係。

2. 忽略了模型的簡潔性（Parsimony）

一個好的統計模型，除了要有足夠的解釋力，也應該盡可能簡潔。這意味著我們希望用最少的變數來解釋最多的變異。過度追求高 R squared，往往會導致模型變得臃腫，包含許多不必要的變數。這不僅增加了模型解釋和維護的難度，也可能引入更多的隨機誤差。簡潔的模型更容易理解，也更容易推廣到新的數據上。

統計學家們常說，「簡單就是美」（Simplicity is beauty）。在模型建構上，這句話同樣適用。

3. 誤解因果關係

R squared 衡量的是「關聯性」，而非「因果關係」。即使 R squared 非常高，也只能說明您的自變數和依變數之間存在很強的統計關聯，但這並不代表自變數「導致」了依變數的變化。兩者可能都受到第三個隱藏因素的影響，或者只是時間上的巧合。

一個經典的例子：

研究發現，冰淇淋的銷售量與溺水人數之間有很強的正相關。難道吃冰淇淋會導致溺水嗎？當然不是！真正的原因是「氣溫」。天氣熱的時候，大家買冰淇淋的意願高，同時也更喜歡去游泳，而游泳人數的增加自然會伴隨更高的溺水風險。這裡的氣溫才是真正的「潛在變數」，導致了冰淇淋銷量和溺水人數的同步增加。

4. 數據集的特性

R squared 的值也會受到數據集本身的特性影響。例如，如果您的數據集非常大，即使是很小的關聯性，也可能因為樣本數的增加而導致 R squared 顯著。反之，在一些較小的、變異性較大的數據集上，即使有真實的關聯，R squared 也可能不高。

該如何正確看待 R squared？

既然 R squared 越高不一定越好，那它還有用嗎？當然有用！只是我們需要用更專業、更細緻的眼光來看待它。

1. 搭配調整式 R squared (Adjusted R-squared)

為了克服 R squared 隨著變數增加而膨脹的問題，統計學家們發展出了「調整式 R squared」。這個指標會考慮到模型中自變數的個數。當您加入一個對模型解釋力沒有實質貢獻，甚至可能損害模型的變數時，調整式 R squared 不會上升，甚至可能下降。因此，在比較不同模型時，調整式 R squared 通常是比 R squared 更可靠的指標。

調整式 R squared 的計算（概念性，非精確公式）：

它基本上是在 R squared 的基礎上，加入一個懲罰項（penalty term），這個懲罰項會隨著您加入的變數越多，或者樣本數越少而越大。所以，只有當新加入的變數能夠顯著提高模型的解釋力，才能讓調整式 R squared 真正上升。

2. 審視模型的其他指標

R squared 只是眾多模型評估指標中的一個。您還需要同時關注其他重要的指標，例如：

p-value： 用來檢定每個自變數是否對依變數有統計上顯著的影響。
殘差分析（Residual Analysis）： 檢查模型的誤差是否隨機分佈，以及是否存在系統性的偏差。
模型的預測準確度（例如 MSE, RMSE）： 在新的數據上，模型預測的誤差有多大。
模型的解釋性與業務邏輯： 模型中的變數及其係數是否符合您對問題的直觀理解和實際業務知識。

3. 考量分析的目的

您建立這個模型的目的是什麼？是為了精確預測？還是為了理解變數之間的關係？

如果您追求的是精確預測： 那麼您可能更需要關注模型在未見數據上的表現，而不是僅僅看訓練數據上的 R squared。
如果您是為了探索性分析，理解變數間的關聯： 那麼 R squared 可以作為一個參考，但同樣不能忽略其他統計檢驗和理論支持。

4. 根據領域的慣例

在不同的學術領域或行業，對 R squared 的「可接受範圍」有不同的慣例。例如，在某些社會科學的研究中，0.4 的 R squared 可能已經被認為是相當不錯的了，因為社會現象往往受到太多複雜因素的影響。而在物理學或工程學等領域，研究人員可能會追求更高的 R squared，因為這些領域的變數關係通常更為清晰和穩定。

舉個例子：

在分析消費者對某個產品的購買意願時，我們可能發現影響因素眾多，例如價格、廣告、品牌形象、社交媒體口碑、甚至是當天的心情等等，這些因素之間的交互作用也很複雜。所以，即使我們建立了一個包含多個重要變數的模型，R squared 可能也無法達到 0.9 以上，這很正常。

具體步驟：如何更聰明地評估您的模型？

當您在建構迴歸模型時，可以遵循以下步驟來更全面地評估模型，而不是只看 R squared：

初步建立模型： 先根據理論或業務知識，挑選一些您認為重要的自變數，建立一個初步的迴歸模型。
檢查 R squared 和調整式 R squared： 觀察這兩個指標，初步了解模型的解釋力。
進行殘差分析：
- 繪製殘差圖（Residual Plot），檢查殘差是否呈現隨機散佈在零線附近。
- 如果殘差圖出現趨勢線、扇形或任何非隨機模式，這表示模型存在問題，例如線性假設不成立、變異數不相等（異質性）等。
檢視各變數的統計顯著性： 檢查每個自變數的 p-value。通常，p-value 小於 0.05（或您設定的顯著水準）的變數，才被認為是對依變數有統計上顯著的影響。
評估係數的合理性： 檢查模型的係數（coefficients）。它們的大小和正負號是否符合您的預期和邏輯？例如，如果一個賣房子的模型，您期望房屋坪數越大，價格越高，那坪數的係數應該是正值。
考慮模型的簡潔性： 刪除那些統計上不顯著，或者對模型解釋力提升有限的變數，看看調整式 R squared 是否依然保持良好，甚至因為模型簡潔而有所提升。
使用交叉驗證（Cross-validation）： 如果可能，將您的數據分成訓練集和測試集。在訓練集上建立模型，然後用測試集來評估模型的預測性能。這能更真實地反映模型在未見數據上的表現，有效避免過度擬合。
根據分析目的進行決策： 綜合以上所有資訊，判斷這個模型是否達到了您的分析目標。

常見問題與專業解答

Q1：我的模型的 R squared 非常低，是不是代表我做的分析完全沒有價值？

不一定喔！ R squared 低並不代表您的分析沒有價值，這可能只是表示您所研究的現象本身就受到非常多、非常複雜的因素影響，而且這些因素之間的關係可能不是線性的。又或者，您現有的數據資訊不足以捕捉到主要的變異來源。在這種情況下，一個低 R squared 的模型，可能反而是真實情況的反映。您可以思考：

是否有其他更重要的自變數您尚未納入？
自變數與依變數之間的關係是否為非線性，需要轉換變數或使用其他模型？
數據本身的雜訊是否過大？

就算 R squared 低，如果模型中的關鍵變數具有統計上的顯著性，並且其係數符合理論預期，那麼這些變數仍然可能提供了有價值的洞見。重點在於您如何詮釋這些結果，而不是僅僅看一個數字。

Q2：如果我加入更多變數，R squared 一定會上升嗎？

理論上，是的，R squared 基本上不會下降。即使您加入一個與依變數完全不相關的隨機變數，模型在計算殘差平方和時，由於模型有更多的自由度去「適應」數據，總的殘差平方和（Sum of Squared Errors, SSE）通常會變小，進而導致 R squared 稍微上升。這也是為什麼我們需要調整式 R squared 的主要原因，它能夠懲罰這種無意義地增加變數的行為。

Q3：我聽說 R squared 可以是負值，這代表什麼意思？

沒錯，R squared 的確有可能出現負值。這通常發生在您建立的模型比一個最簡單的模型（僅使用依變數的平均值作為預測值）還要糟糕的情況下。簡單模型（通常稱為「均值模型」或「零模型」）的 R squared 值為 0。如果您的模型，儘管加入了自變數，但其預測效果連簡單的均值模型都比不上，那麼它的 R squared 就會是負數。這強烈暗示您的模型結構或所選變數是完全錯誤的，需要大幅度的重新檢討。

Q4：在做時間序列分析時，R squared 的意義和線性迴歸一樣嗎？

在時間序列分析中，R squared 的意義基本相同，都是衡量模型對依變數變異的解釋能力。然而，時間序列數據有其特殊性，例如自相關性（autocorrelation），也就是一個時間點的觀測值與前一個或前幾個時間點的觀測值之間存在關聯。這會影響模型的假設，也可能導致 R squared 被高估。因此，在時間序列分析中，除了 R squared，我們還需要特別關注自相關函數圖（ACF）、偏自相關函數圖（PACF）以及模型診斷，來確保模型的有效性。

Q5：什麼情況下，我應該接受一個 R squared 比較低的迴歸模型？

有幾種情況下，即使 R squared 比較低，您也可能需要接受這個模型：

探索性研究： 當您對某個現象還不了解，僅是初步探索變數間的可能關聯時，即使 R squared 不高，重要的統計顯著變數也能提供研究方向。
預測目標是「趨勢」而非「精確值」： 如果您的目標是捕捉依變數的整體趨勢，而不是精確到每一個數據點，那麼一個 R squared 較低的、但趨勢正確的模型可能就足夠了。
數據本身變異性大： 某些領域的數據本身就充滿雜訊和隨機性，要獲得高 R squared 非常困難。在這種情況下，相對較高的 R squared 可能已經是相當不錯的成果。
因果關係的探索： 如果您相信模型中的某些變數具有因果關係，即使 R squared 不高，這些變數的係數和顯著性仍然有助於我們理解潛在機制。
作為比較基準： 一個低 R squared 的模型，可能可以作為您後續嘗試更複雜模型的一個基準。

總之， R squared 是一個有用的工具，但絕不是評估模型的唯一標準。就像您去餐廳吃飯，菜單上的菜名（R squared）很重要，但實際的味道（模型表現）才是關鍵。您需要綜合考量各種因素，才能做出最適合您需求的判斷。

R squared 越高越好嗎