クラスタリング
クラスタリングとは、データ間の類似性に基づいて集合を自動的に分割し、構造やパターンを抽出する教師なし学習の手法である。ラベルなしデータから潜在的な群を見いだし、要約、圧縮、セグメンテーション、異常の境界抽出に活用できる。
定義と目的
クラスタリングの目的は、同質なデータ点を「クラスタ」としてまとめ、異質な群と区別することである。これにより分布形状や潜在カテゴリが明らかになり、前処理や意思決定の単純化に貢献する。
代表的な手法
代表例は、重心を反復更新するk-means、木構造を作る階層的手法、密度に基づくDBSCAN/HDBSCAN等、確率モデルのGMMである。k-meansは高速だが非球状分布に弱く、DBSCANはノイズや任意形状に強い一方でパラメータ感度がある。GMMはクラスタを確率的に解釈できる。
距離尺度と前処理
距離や類似度は結果を大きく左右する。連続量ではユークリッドやマハラノビス、方向性重視ならコサイン、カテゴリ混在ではGower距離が用いられる。標準化・正規化、外れ値処理、次元削減は必須である。
クラスタ数の決め方
クラスタ数kは事前に既知とは限らない。エルボー法（SSE屈曲点）、シルエット係数、情報量基準（AIC/BIC）、ギャップ統計を併用して妥当なkを推定する。密度ベース法はkを要さない長所がある。
評価指標
外部指標（正解ラベルあり）ではRand indexやNMI、内部指標（ラベルなし）ではシルエット係数、Davies–Bouldin指数が使われる。可視化にはPCA、t-SNE、UMAPを使うが低次元化の歪みを考慮する。
特徴量設計と次元削減
データ型ごとに適切な表現が必要である。時系列なら統計量やスペクトル特徴、画像ならCNN由来の埋め込み、テキストならTF-IDFや分散表現が有効である。PCAで冗長次元を圧縮し、ノイズ耐性と計算効率を高める。
産業応用
製造では工程データの群分けにより装置状態のレジームを分離し、規格外の振る舞いを早期検知する。品質では不良モードの自動分類、調達ではサプライヤのセグメント化、保全では稼働ログから異常兆候を抽出する。マーケティングや医療でもプロファイル同定に使う。
実務上の勘所
- スケーリングと欠損補完を統一手順化し、データ漏洩を防止する。
- 初期値依存（k-means）は複数初期化で緩和する。
- 外れ値の影響を抑えるため、ロバスト尺度や密度法を検討する。
- 高次元疎データではコサイン類似度や次元削減を優先する。
- 大規模データにはmini-batchや近似最近傍を用い計算量を抑える。
異常検知との関係
クラスタリングで得た中心や密度を基準に、外れ点や低密度領域を異常として扱える。正常データが多数を占める現場で有効であり、閾値はシルエットや最近傍距離の分位点などで決める。
実装上の選択肢
実装はscikit-learn、HDBSCAN、PyTorchやTensorFlowと組み合わせる構成が一般的である。前処理→次元削減→クラスタリング→評価→可視化をパイプライン化すると、再現性と保守性が向上する。運用効率も高まる。拡張も容易である。