AUCとF1の違いを徹底解説｜機械学習で使い分けるべき理由と選び方

---

AUCとF1の違いを徹底解説：基礎から現場の使い方まで

機械学習の評価指標はたくさんあります。中でも AUC と F1 はよく使われますが、名前だけ聞くと混乱しがちです。ここでは 2つの指標がどんな場面で役に立つのか、どう計算されるのか、そして実務での使い分けのコツを、できるだけ分かりやすく説明します。AUC は全体の傾向を見たいとき、F1 は特定のクラスの検出を大事にしたいときに役立ちます。これを知ると、何を重要視するべきかが見えてきます。

まずは前提として、機械学習のモデルは通常、出力確率を持ちます。正解ラベルと照合して、正しく予測できているかを評価します。評価指標はこの照合の結果を数値で表す道具です。AUC と F1 はその道具の使い方が異なるため、期待する成果も変わります。閾値という概念も関係してきます。閾値とは「予測確率をこの値以上なら陽性、以下なら陰性と判定する」という境界のことです。AUC はこの閾値を固定せず、さまざまな閾値を通じての性能を総合的に評価します。F1 は閾値を決めたあと、実際に得られる結果のバランスを測る指標です。

この違いを把握するだけで、モデルの比較の仕方や評価の解釈が変わります。例えば、あるモデルが多くのケースで高い確率を出す一方で、極端に高い誤検出をすることがあるとします。AUC なら全体の順位付けとして良好に見える可能性がありますが、F1 では特定のクラスでの検出力が不足していることが露わになるかもしれません。ここまでの話を踏まえ、次のセクションでは AUC の仕組みと F1 の仕組みを別々に詳しく見ていきます。

AUC とは何か

AUC は Area Under the ROC Curve の略です。ROC は受信者動作特性曲線と読み、横軸は偽陽性率、縦軸は真陽性率を表します。モデルが陽性と予測する確率を高くするほど真陽性率は上がり、偽陽性率も上がります。ROC 曲線をたくさんの閾値で描くと、点の集合が曲線になります。その曲線と横軸の下の面積が AUC です。値は 0.5 から 1.0 の間に入り、1.0 に近いほど区別が上手だとされます。AUC は閾値を固定しないため、出力の相対的な傾きやランキングの良さを比較するのに向いています。

ただし注意点もあります。AUC はデータのクラス比に敏感ではありませんが、データの難易度やサンプル数が異なると解釈が難しくなることがあります。また、AUC が高くても実際の運用で望む誤検出の抑制ができない場合もあり得ます。

F1 とは何か

F1 スコアは Precision と Recall の調和平均です。Precision は予測が陽性と判定されたうち実際に陽性だった割合、Recall は実際の陽性のうち予測で陽性と判定された割合を表します。F1 はこの二つの指標のバランスを一つの数値で示す方法で、一般的には 0 から 1 の間の値を取り、1 に近いほど良いとされます。閾値を変えると Precision と Recall のバランスが変わるため、F1 も変動します。F1 は特にクラスが不均衡なデータで活躍します。不均衡データでは陽性クラスをしっかり検出することが難しく、F1 が低く出ることがあります。

ただし F1 の長所だけでは十分ではなく、実際にはビジネスの目的に合わせて他の指標と組み合わせて評価するのが良い方法です。

実務での使い分けと選び方

実務では目的に応じて指標を選ぶことが大切です。もしランキングや全体的な識別能力を比較したいなら AUC が便利です。例えばモデル間の順位に敏感に反応し、閾値を設計する前提の比較に向いています。逆に特定のクラスを見逃すとビジネス上の損失が大きい場合には F1 のようなバランス指標を重視します。F1 を使う場面は、医療診断のように見逃しを減らすことが重要なケースや、セキュリティ検査のように陽性判定の正確さと検出力の両立が求められる場面です。ここで重要なのは、データの特性とビジネスのゴールをきちんと考えること。

またデータが極端に不均衡な場合、AUC だけを追いかけても本当に重要なケースを見逃してしまうことがあります。その場合、F1 など他の指標と組み合わせて評価するのが良い方法です。結局のところ、どの指標を採用するかは何を最も重視するかという質問に尽きます。

実践としては、データセットの特徴を理解し、閾値を複数試してみること、また報告書には複数の指標を併記することをおすすめします。これにより読者や上司にもモデルの強みと弱みを伝えやすくなります。

able>指標計算の考え方長所短所使いどころAUCROC 曲線の下の面積閾値に依存しない総合評価データ不均衡で誤解されやすいモデルの順位付けや閾値設計前の比較F1Precision と Recall の調和平均不均衡データで有効、バランスを重視閾値に敏感、直感的でないことも検出が特に重要なクラスの評価ble>

ピックアップ解説

koneta: 友だちとゲームの点数の話をしているとき AUC と F1 の違いが身近に感じられるよ。AUC は点数の順番を見て全体を評価する感じ、ある時は高くても実際の勝敗には結びつかないことがある。一方 F1 は実際に正しく検出できる割合と混同行の調和を直接的に捉える。つまり AUC は並べ方の良さを、F1 は取りこぼしと過検知のバランスを表す指標なんだ。

---