最小二乗法と最尤推定の違いがすぐ分かる！データ分析初心者向けのやさしい解説

---

最小二乗法と最尤推定の違いがすぐ分かる！データ分析初心者向けのやさしい解説

データを使って何かを予測したり、傾向を読み解いたりするには、まずどのように "値を決めるか" が大事です。ここでは、データのばらつき方を説明するための代表的な方法として、最小二乗法と最尤推定という2つの考え方を、難しくならないようにやさしく解説します。
この2つは同じ目的に近づく道具ですが、前提となる考え方や、どんなときに使うべきかが異なります。
本文は、日常の例えと実務のポイントを混ぜながら進めます。読む人が理解できるよう、段階的に要点を拾っていきます。

まず結論を先に言うと、最小二乗法は「誤差を二乗して足し合わせた値を最小にする」ことを目指す手法で、最尤推定は「データが観測される確率を最大にするパラメータを選ぶ」考え方です。これだけ覚えておけば、後の説明で混乱しにくくなります。
この2つを比べると、前者は誤差の二乗を直接小さくすることに重心があり、後者はデータが起こりやすい確率の高い設定を選ぶことに重心があります。
また、線形回帰のようにモデルが決まっている場合と、モデル自体を推定する場合とで、適用時の安定性や前提が変わってきます。

以下のセクションでは、各手法の基本像・前提・計算の流れ・実務での使い分けを、できるだけ具体的なイメージとともに紹介します。文章だけでなく、視覚的なイメージがつくように要点を分けて説明します。
中学生にも伝わるような言葉と、実務で役立つポイントを並べていきます。

最小二乗法の基本と特徴

最小二乗法は、データ点と直線の距離（残差）を考え、その距離をすべて二乗して合計した値を最小にする直線を求める方法です。
この考え方の良さは、計算が比較的シンプルで、データに対して線形の関係があるときは安定して適用できる点です。
特に「線形モデルが正しく近い形でデータを説明してくれる」という前提のもと、パラメータの推定が行われます。
また、外れ値への影響を受けやすいという性質もあります。外れ値があると、残差が大きくなる点に強く影響します。
このため、データの品質が高く、外れ値が比較的少ない場合に適しています。

計算の流れはシンプルです。まずモデルを y = β0 + β1 x と仮定します。次に、データの各点 (xi, yi) に対して残差 ei = yi - (β0 + β1 xi) を作り、それを二乗して全部足します。これを最小にするように、β0とβ1を調整します。結果として得られるのが最小二乗推定量です。
このときの前提は、誤差が平均0で、等分散（どのデータ点でも誤差の広がりが同じ）であること、そして誤差が正規分布に近いとき推定量の性質がよく理解できます。
もしデータのばらつきが大きく、外れ値が多い場合には、ロバスト回帰など別の方法を検討するのが良いでしょう。

最尤推定の基本と特徴

最尤推定は、データが観測される確率を最大化するパラメータを見つける考え方です。
「このデータが起こる可能性を最も高くする設定はどれか」という視点で、パラメータを決めます。
この考え方の強みは、データの分布形状を具体的に仮定できれば、さまざまなモデルに柔軟に対応できる点です。
ただし、分布の形をどの程度正しく仮定できるかが重要で、仮定が外れると推定量の性質が崩れやすくなります。
また、最大化の計算は場合によって難しく、数値的な最適化手法を用いることが多いです。
分布を適切に仮定できれば、データの分布に敏感な推定量を得られる利点があります。

最尤推定の計算の流れは、まずデータの分布を仮定します。例えば、誤差が正規分布に従うと仮定する「正規分布モデル」や、離散データにはポアソン分布、あるいは二項分布など、状況に応じて選択します。次に、パラメータ θ に対して、データが観測される確率（尤度）L(θ)を計算します。最後に、L(θ)を最大化するθを求めます。実務では、対数尤度を使うことが多く、計算が安定します。
重要な前提は、データが独立で同じ分布（i.i.d.）に従うという点で、これが崩れると推定量の性質が変わってしまいます。

違いの核心と使い分けのコツ

ここまでの説明を踏まえると、両者の違いの核心は次の点に集約されます。
1) 目的の違い：最小二乗法は「誤差を最小化すること」、最尤推定は「データが観測される確率を最大化すること」が目的です。
2) 前提の違い：最小二乗法は誤差の分布に強い仮定を置かずに始めることが多い一方、最尤推定は分布の形を仮定します。
3) 適用できるモデルの違い：最小二乗法は線形モデルで特に強力ですが、非線形モデルにも拡張できます。最尤推定は非線形・非ガウス分布にも対応可能ですが、計算が難しくなることが多いです。
4) 安定性と外れ値の影響：最小二乗法は外れ値に敏感です。対して最尤推定は分布の仮定が適切なら、外れ値に対して頑健な設計が可能な場合があります。
このような違いを理解しておくと、データの性質に合わせて適切な手法を選べるようになります。
実務では、データの性質をまず調べ、仮定が妥当かを点検することが大切です。
もし仮定が怪しいと判断した場合には、「ロバスト法」や「非線形回帰」など、別の手法を検討するのが良いでしょう。

実務での実例と注意点

実務では、まずデータを観察してからモデルを選ぶのが基本です。
例を挙げると、販売データの売上高と広告費の関係を説明する場合、最小二乗法で直線を当てはめると、広告費が増えると売上がどの程度増えるかを直感的に読み取れます。
ただし、売上に影響を与える他の要因（季節性、競合、価格など）があると、残差にパターンが現れてしまい、モデルがうまく機能しなくなることがあります。
このときは、調整として別の説明変数を加えたり、非線形の項を導入したり、ロバスト回帰を使うことを検討します。
一方、特定の確率モデルが妥当だと判断できる場合には最尤推定を使って、データが観測される可能性を最大化するパラメータを推定します。
このアプローチは、データの分布形がはっきりしているときに特に強力ですが、分布仮定が間違っていると推定結果が偏る可能性がある点には注意が必要です。

まとめと覚え方

結局のところ、最小二乗法と最尤推定は「どういう視点でパラメータを決めるのか」という違いをもっています。
覚え方のコツとしては、最小二乗法を“誤差を小さくするための直感的な方法”、最尤推定を“データが起こる確率を最大化する理論的な方法”と覚えると混乱が少なくなります。
実務で使い分けるときには、データの分布仮定が妥当か、外れ値の影響はどうか、モデルが線形か非線形かをまず確認することが大切です。
この順番で検討すれば、分析の道筋が見えやすくなり、読者にも伝えやすい解釈を作ることができます。

ピックアップ解説

ねえ、最小二乗法って、点を直線で結んで“どれだけデータと線がズレてるか”を最小化するイメージだよね。実はこれ、友だちのノートの書き方を真似して、黒い線ができるだけ全部の点に近づくようにする、そんな感覚に近いんだ。誤差を二乗して足し算するのは、1つの大きなずれを他の小さなぞれと同じ重さで扱わないため。そうすることで外れ値が少し強く影響する問題が出ても、全体の“見える線”を安定させる狙いがあるんだ。対して最尤推定は、データが起こる確率そのものを最大にするパラメータを探す作業。分布の形を仮定して、データが実際に起こりやすい状況をモデルに反映する。仮定が正しければ非常に力強いが、仮定がずれると推定がズレてしまう。つまり、最小二乗法は“ばらつきを直線で近づける技術”、最尤推定は“データの起こりやすさを分解して推定する理論”と覚えると理解が進むんだ。

---