Lagrangeの未定乗数法｜等式制約を乗数で解く古典最適化法

Lagrangeの未定乗数法

Lagrangeの未定乗数法は、等式制約付き最適化において、制約を満たしつつ目的関数を最小化（最大化）する解を求める古典的手法である。制約をペナルティではなく補助変数（未定乗数）で厳密に取り込み、ラグランジュ関数を構成して停留条件を解く点に特徴がある。工学設計では、強度・剛性・体積・コストなどの制約を同時に扱う場面が多く、KKT条件の基礎として解析的理解と数値解法の両面で有用である。

Table Of Contents

Lagrangeの未定乗数法

基本概念と導出

問題は「minimize f(x) subject to g_i(x)=0 (i=1,…,m)」と書ける。ラグランジュ関数を L(x,λ)=f(x)+Σ_i λ_i g_i(x) と定義し、停留条件 ∇_x L(x,λ)=0 および可行性 g_i(x)=0 を同時に満たす (x,λ) を求める。幾何学的には、制約面の接空間に沿った目的関数の勾配成分が消える、すなわち ∇f(x*)+Σ_i λ_i ∇g_i(x*)=0 となる点 x* が候補解である。未知数は n 次元の x と m 個の λ で合計 n+m、方程式も同数であるため、ニュートン法などでKKT連立を解けばよい。

簡単な例

例として「f(x,y)=x^2+y^2 を最小、制約 x+y=1」を考える。L=x^2+y^2+λ(x+y−1)。停留条件より 2x+λ=0、2y+λ=0 より x=y=−λ/2。制約から −λ=1、したがって λ=−1、x=y=1/2 が得られる。値は f=1/2。幾何学的には、円 f=一定と直線 x+y=1 が接する点が最適で、∇f と ∇g が平行（線形結合）であることがラグランジュ条件に対応する。

不等式制約とKKT条件

不等式 h_j(x)≤0 を含む場合は L=f+Σ_i λ_i g_i+Σ_j μ_j h_j とし、KKT条件を満たす必要がある。(1) 駆動方程式：∇f+Σ_i λ_i ∇g_i+Σ_j μ_j ∇h_j=0、(2) 可行性：g_i=0, h_j≤0、(3) 双対実行可能性：μ_j≥0、(4) 相補性：μ_j h_j=0。加えて LICQ などの制約資格条件や、凸問題では Slater 条件が満たされると、KKT条件は必要十分となる。

2次条件と境界ヘッセ行列

候補点が極小であるためには、制約に沿った方向に対して L の 2次変分が正であることが求められる。実装的には、制約のヤコビアンの零空間上で ∇^2_{xx}L(x*,λ*) の正定性を判定するか、境界付き（bordered）ヘッセ行列を用いる。非凸問題では 1次条件のみでは鞍点を除外できないため、2次条件の確認が重要である。

数値解法と実務の流れ

モデル化：目的 f と制約 g,h を明確化し、微分可能性と次元・単位を整える。
初期点：等式を満たす初期可行点、または可行化ステップを用意する。
KKT連立：未知数 (x,λ,μ) に対しニュートン法や準ニュートンで解く。ラインサーチ／トラストリージョンを併用する。
スケーリング：勾配・制約のスケールを合わせ、条件数を改善する。
正則化：ヘッセ近似が不定の場合はダンピングやPSD化を行う。
停止判定：KKT残差、可行性、補完性、目的値改善の基準で止める。

Lagrangeの未定乗数法｜等式制約を乗数で解く古典最適化法