最良サブセット回帰(Best Subsets Regression)
Best Subsets Regressionは、自由な予測変数のすべての部分集合に最小二乗法のモデルを当てはめます(一部をすべてのモデルに強制的に含めることも可能)。サイズごとに最良の1〜5モデルを表示し、各行にR-Sq、R-Sq(adj)、R-Sq(pred)、Mallows' Cp、Sを報告し、PRESS、AICc、BIC、VIFは任意で表示します。調査の初期に予測変数を絞り込み、選んだモデルをFit Regression Modelで当てはめます。
最終レビュー
重要なポイント
最良サブセット回帰は、候補となる予測変数のすべての組み合わせについて線形回帰を当てはめ、サイズごとの最良のモデルを一覧にします。応答の変動の大部分を説明する最小の予測変数の集合を見つけるのに役立ちます。
目的
Best Subsets Regressionは、候補となる予測変数のすべての組み合わせについて線形回帰を当てはめ、サイズごとの最良のモデルを並べて一覧にします。調査の初期に、考えられる工程条件がいくつかあり、応答の変動の大部分を説明する最小の集合を知りたいときに使用します。その後、選んだモデルをFit Regression Modelで詳しく当てはめます。
主な機能
- 自由な予測変数のすべての部分集合を、設定した最小数から最大数まで当てはめます。
- サイズごとに最良の1〜5モデルを、R-Sqの順に表示します。
- すべてのモデルについてR-Sq、R-Sq(adj)、R-Sq(pred)、Mallows' Cp、Sを報告し、PRESS、AICc、BICは要求に応じて表示します。
- Predictors in all models:重要だとわかっている変数を、すべての部分集合に強制的に含めます。
- Enhanced tablesでは、各モデルの各予測変数の分散拡大係数(VIF)が追加され、相関のある予測変数を見つけられます。
- 切片ありまたはなしのモデルを選べます。
統計手法
応答または選択した予測変数のいずれかに欠損値や数値でない値がある行は除外されます。ツールは、最小から最大までの部分集合のサイズごとに、そのサイズの自由な予測変数のすべての組み合わせ(強制的に含めた予測変数を加えたもの)に最小二乗法のモデルを当てはめ、R-Sqの順に並べて、サイズごとに上位のモデルを残します。自由な予測変数がp個の場合、部分集合は 2ᵖ − 1 個あるため、候補が1つ増えるごとに当てはめの回数は2倍になります。
n行に当てはめた、k個の係数(定数を含む)を持つモデルについて:S = √MSE。R-Sq(adj)は、項の数に応じてR-Sqを補正したものです。PRESS = Σ (eᵢ / (1 − hᵢ))² は、てこ比 hᵢ を用いた、1つ抜き交差の予測誤差の二乗和です。R-Sq(pred) = 1 − PRESS / SS Total。Mallows' Cp = SSE / MSE(full) − (n − 2k) で、MSE(full) はすべての予測変数を含むモデルの誤差平均平方です。偏りの小さいモデルではCpがkに近くなり、全変数を含むモデルではCpは常にkになります。AICc = −2 log L + 2(k+1) + 2(k+1)(k+2)/(n − k − 2)、BIC = −2 log L + (k+1) ln n で、σをパラメータとして数えます。PRESS、AICc、BICは小さいほうが良好です。
R-Sq(adj)とR-Sq(pred)の上昇が止まり、Cpが係数の数に近く、Sが小さいモデルを探します。R-SqとR-Sq(pred)の差が大きい場合は、過適合の警告です。最良サブセットはあくまで当てはまりを比較するだけです。選んだモデルの残差と係数は、Fit Regression Modelで確認してください。
入力項目とオプション
項目 | 説明 |
Response (Y) | 説明の対象となる数値列です。必須です。 |
Free predictors | 候補となる数値の予測変数です。すべての組み合わせを試します。必須です。CtrlまたはCommandを押しながらクリックすると複数選択できます。 |
Predictors in all models (optional) | すべてのモデルに含める数値の予測変数です。自由な予測変数と重複してはいけません。 |
Models of each size to display | サイズごとに一覧表示する最良のモデルの数で、1〜5です。既定は2です。 |
Display PRESS / Display AICc / Display BIC | これらの列を表に追加します。既定ではオフです。 |
Free Predictors: Minimum / Maximum | モデルに含める自由な予測変数の最小数と最大数です。既定では1からすべてまでです。 |
Fit intercept | 既定ではオンです。オフにすると、原点を通るモデルを当てはめます(その場合のR-Sqは中心化されません)。 |
Display of results | Simple tables(既定)またはEnhanced tablesで、後者では各予測変数のVIF列が追加されます。 |

図1 — ソーダ灰の例のオプション:応答にNaCl_Conversion_pct、自由な予測変数に3つの工程条件を指定し、PRESS、AICc、BICを表示。
出力の説明
- Response line — 応答と、すべてのモデルに強制的に含めた予測変数の名前を示します。
- Best Subsets Results table — 1行が1モデルです。Vars(自由な予測変数の数)、R-Sq、R-Sq(adj)、R-Sq(pred)、Mallows' Cp、S、任意のPRESS、AICc、BIC、および、モデルに含まれる各予測変数の下のXが示されます。Enhanced tablesでは、モデルに含まれる各予測変数のVIFも示されます。
- DownloadによるPDFエクスポート。

図2 — NaCl転化率の最良サブセット結果:3つの予測変数を含むモデルは、R-Sq 86.25%、R-Sq(pred) 83.01%、Cp 4、S 0.6385です。
計算例
ソーダ灰プラントで、どの工程条件が日々のNaCl転化率(%)を説明するかを知りたいと考えています。36日間の生産で、チームはかん水のNaCl濃度(Brine_NaCl_gpl)、NH3とNaClのモル比(NH3_Ratio)、炭酸化塔の底部温度(Carb_Temp_C)を記録します。応答にNaCl_Conversion_pctを、自由な予測変数に3つの工程条件を選択し、サイズごとに2モデルを残して、Display PRESS、AICc、BICにチェックを入れます。
単独ではNH3比が最良の単一予測変数ですが、変動の50.48%しか説明できません(Cp 83.22)。炭酸化温度を加えるとR-Sqは80.78%に上がり、Sは1.1753から0.7432パーセントポイントに下がりますが、Cpは依然として14.72で、このモデルの係数の数3を大きく上回っており、何かが欠けています。3つの工程条件をすべて含めると、R-Sqは86.25%、R-Sq(pred)は83.01%、Sは0.6385になり、PRESS、AICc、BICは表の中で最小です(16.1081、77.62、83.53)。R-SqとR-Sq(pred)の差が小さいことから、このモデルは過適合ではありません。
チームは3つの工程条件をすべて残し、Fit Regression Modelで当てはめます。Enhanced tablesにチェックを入れると、VIFは1.01〜1.03で、3つの工程条件が連動して変更されていないことがわかり、各効果を単独で読み取れます。
よくある質問
最良サブセット回帰とは何ですか?
最良サブセット回帰は、候補となる予測変数のすべての組み合わせについて線形回帰を当てはめ、サイズごとの最良のモデルをR-Sqの順に並べて一覧にします。調査の初期に、応答の変動の大部分を説明する、工程条件などの最小の予測変数の集合を見つけるために使用します。
最良サブセットの出力から、最良のモデルをどのように選びますか?
R-Sq(adj)とR-Sq(pred)の上昇が止まり、Mallows' Cpが係数の数に近く、Sが小さいモデルを探します。PRESS、AICc、BICは小さいほうが良好です。R-SqとR-Sq(pred)の差が大きい場合は、過適合の警告です。その後、選んだモデルの残差と係数をFit Regression Modelで確認します。
最良サブセット回帰でMallows' Cpは何を意味しますか?
Mallows' Cpは、モデルの誤差を、すべての予測変数を含むモデルの誤差と比較します。偏りの小さいモデルではCpがk(定数を含む係数の数)に近くなり、全変数を含むモデルではCpは常にkになります。Cpがkを大きく上回る場合(例では3係数のモデルで14.72)は、重要な予測変数が欠けていることを示唆します。
最良サブセット回帰は、いくつのモデルを当てはめますか?
自由な予測変数がp個の場合、部分集合は2のp乗マイナス1個あるため、候補の予測変数が1つ増えるごとに当てはめの回数は2倍になります。モデルあたりの自由な予測変数の最小数と最大数を制限したり、既知の予測変数をすべてのモデルに強制的に含めたり、サイズごとに表示する最良のモデルの数を1〜5から選んだりできます。
