

中嶋悟
名前:中嶋 悟(なかじま さとる) ニックネーム:サトルン 年齢:28歳 性別:男性 職業:会社員(IT系メーカー・マーケティング部門) 通勤場所:東京都千代田区・本社オフィス 通勤時間:片道約45分(電車+徒歩) 居住地:東京都杉並区・阿佐ヶ谷の1LDKマンション 出身地:神奈川県横浜市 身長:175cm 血液型:A型 誕生日:1997年5月12日 趣味:比較記事を書くこと、カメラ散歩、ガジェット収集、カフェ巡り、映画鑑賞(特に洋画)、料理(最近はスパイスカレー作りにハマり中) 性格:分析好き・好奇心旺盛・マイペース・几帳面だけど時々おおざっぱ・物事をとことん調べたくなるタイプ 1日(平日)のタイムスケジュール 6:30 起床。まずはコーヒーを淹れながらニュースとSNSチェック 7:00 朝食(自作のオートミールorトースト)、ブログの下書きや記事ネタ整理 8:00 出勤準備 8:30 電車で通勤(この間にポッドキャストやオーディオブックでインプット) 9:15 出社。午前は資料作成やメール返信 12:00 ランチはオフィス近くの定食屋かカフェ 13:00 午後は会議やマーケティング企画立案、データ分析 18:00 退社 19:00 帰宅途中にスーパー寄って買い物 19:30 夕食&YouTubeやNetflixでリラックスタイム 21:00 ブログ執筆や写真編集、次の記事の構成作成 23:00 読書(比較記事のネタ探しも兼ねる) 23:45 就寝準備 24:00 就寝
accuracyとAUCとは何か?基本を押さえる
はじめに、機械学習の世界でよく出てくる「accuracy(正解率)」と「AUC(Area Under the ROC Curve)」の違いを、中学生にもわかる言葉で解説します。まずはそれぞれの意味を整理しましょう。
Accuracyは「正しく分類できたデータの割合」です。全体のデータNのうち、モデルが正しく予測したデータの数TP+TNをNで割った値です。
このときの閾値(しきい値)をどう設定するかで結果が大きく変わります。例えば病気の検査では、閾値を厳しくすると偽陰性が減るが偽陽性が増える、などの trade-off が生まれます。
一方、AUCは「識別力」を表す指標で、ROC曲線の下の面積として数値化されます。ROC曲線は横軸FPR(偽陽性率)と縦軸TPR(真陽性率)を閾値ごとに描いたグラフです。
AUCは0.5から1.0の間で、1.0に近いほどモデルが良く、どのような閾値を選んでも安定して良い分離能力を示します。
ここで覚えておきたいのは、Accuracyは閾値に依存するのに対して、AUCは閾値を超えた「総合的な識別力」を測る指標という点です。
この違いは、データの偏りがあるときに特に重要になります。
次に、以下の表とポイントを見てみましょう。
ここまでを踏まえると、 accuracyとAUCは使い分けのコツが見えてきます。例えば、次のような場面で使い分けを考えましょう。
・不均衡データがある場合はAUCを先に見るのが有効なことが多い。
・最終的な意思決定を閾値で行う場合はAccuracyと他の指標を合わせて評価する。
・プロダクトの要求が「確率の適切さ」ならキャリブレーションを含めた評価が必要です。
このように、AUCは「どのサンプルが病気かを正しく並べ替えられるか」という能力を示す指標として便利です。
閾値を変えずに比較できる点が強みです。
使いどころと注意点:accuracyとAUCをどう使い分けるか
実務での使い分けはケースベースです。ここでは日常のデータ分析で役立つ具体的な考え方を長文で説明します。
例えば、詐欺検出のように希少なサンプルを見逃さないことが重要な場合、閾値設定で偽陽性を適度に抑えるとか、AUCで全体の順序性を評価することが有効です。
一方で、ウェブ広告のクリック予測のように、正確な確率を使って次のアクションを決定する場合は、キャリブレーションを含めた評価が必要です。
このように、AUCは「どのサンプルが病気かを正しく並べ替えられるか」という能力を示す指標として便利です。
逆に、Accuracyは「ある閾値での正解率」を直接示す指標で、閾値選択が明確なプロセスである場合に直感的です。
実務ではこの二つを同時に見ることが多く、片方だけを重視すると見落としが生じます。以下の表は、もう一度簡潔に違いと使い分けを整理したものです。
結論として、データの偏りやビジネスの目的に応じて、閾値の設定と評価指標の組み合わせを工夫することが、良いモデルを作るコツです。
友人とカフェでAUCの話をしていたときのこと。彼はAUCをただの数字だと思っていたので、ROC曲線の話をして説明した。AUCはデータの順位付けの強さを測る指標であり、0.5はランダム、1.0は完璧、というイメージ。彼には「確率の高さ」じゃなく「高い確率の並び替え」が大事だと伝えた。さらに、AUCが高くても実用には結びつかない場合がある、 calibrationが必要、などの現実的な落とし込みも話した。結局、数字だけに頼らず、モデルを使う場面と目的を想像して評価することが大切だと再確認した。