はい、プロジェクトごとに学習設定を分けることは可能です。
例えばプロジェクトAとBがあるとします。
どちらも「通常モード」で学習したいが、Aはホールドアウト検証データを「分割しない」、Bは「分割する」とします。
Aについては、デフォルトの「通常モード」を適用します。
一方、Bについては分割したいので、「じゃあ通常モードを分割に変更で…」としてしまうと、Aにまで影響がでてしまいます。
これを避けるために、デフォルトの「通常モード」をコピーして「通常モード：分割有り」という新しい学習設定を作ります。
そして「通常モード：分割有り」の、ホールドアウト検証の設定を「分割する」に変更します。 その「通常モード:分割有り」をBに適用します。
こうすることで、Aに影響を与えず、それぞれの設定を変更することができます（Aはデフォルトの「通常モード」を適用しているため）
たとえばさらに「プロジェクトごとに分割条件を変えたい！」となったら、「通常モード：分割あり」をさらにコピーし、「通常モード：分割あり：条件xxx」というように、新しいモードを作っていくこともできます。