最小二乗法｜誤差平方和を最小化する回帰推定

最小二乗法

最小二乗法は、観測データとモデルの予測値との誤差二乗和（残差平方和）を最小化して、未知パラメータを推定する方法である。誤差が独立同分散の正規分布に従うと仮定すれば、最小二乗法による推定は尤度最大化と一致し、推定量は統計的に望ましい性質（不偏性や分散の最小性）を持つ。一次回帰から多変量回帰、曲線近似、校正、システム同定、画像・信号処理まで広範に用いられ、実装も容易で計算効率に優れる一方、外れ値や多重共線性に注意を要する。

Table Of Contents

最小二乗法

定義と目的

最小二乗法は、観測値ベクトルyと設計行列X、未知パラメータβに対し、目的関数S(β)=‖y−Xβ‖²を最小化する問題として定式化される。残差r=y−Xβのユークリッドノルムを最小化することで、モデルがデータに最も整合的となるβを求めるのが目的である。線形モデルに限らず、非線形モデルでもテイラー展開や反復解法により同様の思想で近似的に解ける。

一次回帰の数式

単回帰y=a+bxに対し、最小二乗法は誤差二乗和Σ(y_i−a−bx_i)²を最小化する。解は解析的に与えられ、b=Cov(x,y)/Var(x)、a=ȳ−b x̄で計算できる。これは全データのトレンドを直線で最も「平均的に」説明する解であり、外れ値の寄与が二乗で増幅される点が特徴である。

行列表示と正規方程式

線形最小二乗法の解は、Xの列空間への直交射影から導かれ、正規方程式(X^TX)β=X^Tyを満たすβである。X^TXが正則ならβ=(X^TX)⁻¹X^Tyで一意に求まる。数値計算では直接の逆行列計算を避け、QR分解やSVDによる安定な解法が推奨される。

幾何学的解釈

最小二乗法は、yをXの列空間に直交射影した点Xβ̂を求める操作と等価である。残差r=y−Xβ̂は列空間に直交し、X^Tr=0（直交条件）を満たす。この幾何学的観点は、識別不能性や多重共線性の発見、特徴量追加時の効果理解に有用である。

統計的性質（Gauss–Markov）

誤差が平均0、等分散、相互に無相関という古典仮定の下で、線形最小二乗法の推定量はBLUE（Best Linear Unbiased Estimator）である。さらに誤差が正規分布なら、OLSはMLEと一致し、信頼区間や仮説検定（t検定・F検定）を自然に構成できる。

重み付き・一般化最小二乗法

分散が一定でない場合は、重み行列Wを導入してS(β)=‖W^1/2(y−Xβ)‖²を最小にする重み付き最小二乗法（WLS）を用いる。誤差に相関があるなら、共分散行列Σを陽に扱う一般化最小二乗法（GLS）により効率の高い推定が可能となる。

正則化（リッジ・ラッソ）

多重共線性や過学習に対処するため、L2罰則を課すリッジ回帰、L1罰則のLassoを用いる。目的関数はS(β)+λ‖β‖₂²（リッジ）やS(β)+λ‖β‖₁（Lasso）となり、バイアスを許容して分散を抑える。λは交差検証やAIC/BICなどで調整する。

非線形最小二乗法

モデルが非線形のときは、Gauss–Newton法やLevenberg–Marquardt法などの反復アルゴリズムで近似解を求める。ヤコビアンの評価、スケーリング、初期値の選択が収束と解の質を左右するため、実験計画や前処理が重要となる。

実務上の注意点

現場適用では、データ品質とモデル妥当性の点検が不可欠である。外れ値検出、説明変数のスケーリング、交差検証、残差診断（自己相関・非正規性・不等分散）を体系的に行うことで、最小二乗法の前提に反しないか確認できる。

多重共線性：VIFやSVDで検知し、次元削減や正則化で対処する。
外れ値：ロバスト回帰（Huber, Tukey）や事前の異常値処理を検討する。
説明力評価：R²や調整R²、AIC/BICでモデル比較を行う。
汎化性能：k-fold交差検証で過学習を抑制する。

品質工学・製造への応用

最小二乗法は、実験計画に基づく因子効果推定、プロセス最適化、校正曲線作成、設備劣化のトレンド推定などで不可欠である。工程データのノイズに対して頑健な推定を得るため、重み付けやロバスト化、オンライン更新（逐次最小二乗法）を組み合わせると実用性が高まる。

計算安定性とアルゴリズム選択

数値安定性の観点から、正規方程式の直接解法よりもQR分解、特に条件数が悪い場合はSVDによる擬似逆を推奨する。スケーリングや中心化は条件数を改善し、収束と丸め誤差の双方を抑制する。大規模問題では疎行列演算、座標降下法、確率的手法を活用する。

計測・信号処理での利用

フィルタ係数推定、スペクトルフィッティング、画像の幾何補正などで最小二乗法が使われる。特にカーブフィッティングでは基底関数展開（多項式、スプライン、Fourier）により複雑形状も柔軟に近似できるが、過剰次数は外挿の不安定性を招くため、正則化と交差検証で制御する。

実装の要点

実装では、(1)前処理（欠損・外れ値・スケーリング）、(2)設計行列の構成と特徴量エンジニアリング、(3)安定な解法（QR/SVD）、(4)診断プロット（残差・QQ・影響度）、(5)汎化評価（CV）、(6)必要に応じたWLS/GLSや正則化の導入、という流れを徹底することで、最小二乗法の性能を最大化できる。