ＡかＢのどちらかを予測する、という分類予測モデルがある際、AとＢの存在の割合が同定度であり、Ａ、Ｂそれぞれをできるだけ正しく予測したい場合には、「Accuracy」を用いることが有効と考えられます。
ＡとＢでは存在の割合に大きな偏りがある場合には「Recall」「Precision」「 f1」といった指標を用いることが有効になると考えられます。Learning Forecastでは上記のような２クラスの分類の際、アルファベットや数字を昇順にして後ろに来るもの、すなわち、AとＢであればBについて、「Recall」「Precision」「f1」を計算します。
「Recall」は、存在するＢ全てをできるだけ抜け漏れなく予測したい場合、つまりBを予測する際、false negativeの割合を小さくしたい場合のモデル作成で、有効な精度指標です。
「Precision」はBをできるだけ高い精度で予測したい場合、つまりBを予測する際の、false positiveの予測割合を小さくしたい場合のモデル作成で、有効な精度指標です。
「f1」は、「Recall」と「Precision」の両方、つまりBを予測する際、false positveとfalse negative、両方の割合を小さくしたい場合のモデル作成で有効な指標です。
３クラス以上の分類の場合、現在のLearning Forecastでは「Accuracy」「Recall」「Precision」「f1」全てで同じ値が表示されます。特定のカテゴリー値について高い精度で予測したい場合、カテゴリー値として２クラスになるように、目的変数を作成しなおし、目的のカテゴリー値が、ホールドアウト検証の混同行列で、予測値列の右側に、実績行の下側に来るように調整することで可能になります。