過去に恋をするな。
——カーブフィッティングという罠

アルマ。今日は、検証を覚えた人が次に落ちる穴の話をする。

バックテストを回せるようになると、誰もが一度は「過去10年で勝率78%、右肩上がりの資金曲線」を作ってしまう。そして実弾に入れた瞬間、壊れる。原因はほぼ一つ。カーブフィッティング——過去への過剰最適化だ。

カーブフィッティングとは何か

移動平均の期間を13、14、15……と試して、一番成績が良かった「14」を採用する。損切り幅を18pips、19pips、20pipsと試して「19」を選ぶ。この作業を繰り返すと、手法は過去のチャートの形に、鋳型のようにぴったり吸い付いていく。

問題は、その「ぴったり」の中身だ。過去の値動きには、繰り返される構造と、二度と起きない偶然(ノイズ)が混ざっている。最適化を繰り返すほど、手法は構造ではなくノイズに合わせて調整されていく。過去に完璧なほど、未来には脆い。

なぜ起きるのか——自由度という毒

パラメータが増えるほど、手法は過去を「説明」する力を持つ。極端な話、調整できる数字が10個あれば、どんな過去のチャートでも勝てる設定は必ず見つかる。でもそれは説明であって、予測ではない。

過去を説明できる手法は無数にある。未来に耐える手法は、その中のごく一部。この2つを区別する装置が検証の本体で、区別せずに最適化だけを回すのは、答えを見ながら解いた過去問の点数を実力だと思い込む行為だ。

兆候チェックリスト——あなたの手法は大丈夫か

回避策1: アウトオブサンプル——答えを隠して解く

データを7:3に分ける。前半の7割だけで手法を作り、最適化する。完成したら、一度も見ていない後半3割で成績を測る。これがアウトオブサンプル検証だ。

前半で勝てて後半で崩れたら、あなたの手法は過去に恋をしていただけ。後半でも同じ傾向で勝てるなら、ノイズではなく構造を掴んでいる可能性が上がる。作る用のデータと、試す用のデータ。この分離が検証の背骨になる。

回避策2: 頂点ではなく「平原」を選ぶ

パラメータを総当たりすると、成績の地形図ができる。移動平均14だけが突出して良く、13と15が悪い——これは尖った山の頂点だ。頂点は偶然の産物であることが多く、相場が少しズレただけで崖から落ちる。

選ぶべきは、12〜16のどれでもそこそこ勝てる「なだらかな平原」。最高値は落ちるが、頑健さ(ロバストネス)が桁違いに高い。最適な一点ではなく、安定した領域を採用する——クオンツが皆この選び方をするのには理由がある。

最後の関門は、実時間

アウトオブサンプルを抜けても、まだ「過去」の中の話だ。最後はフォワードテスト——実時間で、決めた期間、決めたルールで回して崩れないかを見る。ここまで通って初めて、手法は道具と呼べる。

過去を説明する手法は無数にある。未来に耐える手法だけが、道具になる。

美しすぎる資金曲線を見たら、まず疑え。自分が作ったものなら、なおさらだ。

ウォークフォワード——時間をずらして何度も試験する

アウトオブサンプル(7:3分割)の発展形として、プロが使うのがウォークフォワード検証だ。データを例えば1年ごとに区切り、「2020-22年で最適化→2023年で試験」「2021-23年で最適化→2024年で試験」…と窓をずらしながら何度も作り直しと試験を繰り返す。

1回のアウトオブサンプルは「たまたま良い期間に当たった」可能性が残るが、ウォークフォワードで毎回の試験区間がそこそこ機能するなら、手法は特定の時代ではなく構造を掴んでいる可能性が高い。手動では大変な作業だが、考え方だけでも知っておくと「1回の検証で確信しない」姿勢が身につく。

実話によくある型——「パラメータ12個のEA」の末路

典型的な転落のストーリーを一つ。ある検証者が、移動平均2本+RSI+時間フィルタ+曜日フィルタ…と条件を足し続け、パラメータ12個・過去3年で勝率81%・右肩上がりの資金曲線を完成させた。実弾投入後、2ヶ月で資金曲線は右肩下がり——過去3年のノイズに12個のネジで完璧に固定された手法は、4年目の相場と1ミリも噛み合わなかった。

この話の教訓は「彼が愚かだった」ではない。検証が上手くなるほど、この罠は精巧になるということだ。武器は磨くほど、過去に恋する精度も上がる。だから兆候チェックリストは、上級者ほど必要になる。

頑健性テスト3種——平原を確かめる実務

1. 期間ずらし——検証期間を半年前後にずらして再集計。成績が激変するなら、特定期間の申し子だ
2. 通貨ペア横展開——ドル円で作った手法をユーロドルで走らせる。別ペアで全滅するのは構造ではなくノイズを掴んだ疑い(ただしペア固有の性格もあるので参考値)
3. パラメータ±20%——全パラメータを±20%動かして成績の崩れ方を見る。なだらかなら平原、崖なら頂点

3つとも通ったら、ようやくフォワードテストへ。面倒に見えるが、この面倒さの総量は、実弾で溶かす金額よりいつも安い。

聖杯探しとカーブフィッティングは同じ病

コラム第1回で書いた「聖杯探しループ」と、過剰最適化は実は同じ心理から生まれる——「どこかに完璧な答えがあるはずだ」という信仰だ。聖杯探しは外(他人の手法)に完璧を求め、カーブフィッティングは内(パラメータ調整)に完璧を求める。方向が違うだけで、不確実性を受け入れられない点は同じ。

成熟したトレーダーの姿勢はその逆で、「不完全だが頑健な手法を、正しいサイズで、十分な回数振る」。期待値の源泉は手法の完璧さではなく、優位性×資金管理×継続の掛け算だ。この価値観の転換こそが、検証技術の最終到達点だと工房は考えている。

AI・機械学習ツール時代の過学習

最近は「AIが最適なパラメータを見つける」系のツールも増えた。機械学習の世界では過剰最適化を過学習(オーバーフィッティング)と呼び、まったく同じ問題が百年前から研究されている。結論も同じだ——学習に使ったデータでの成績は当てにならず、見せていないデータ(アウトオブサンプル)での成績だけが実力。

AIツールを使うこと自体は否定しない。ただし「AIが見つけた=正しい」ではなく、「探索が高速になった=過学習も高速になった」と理解して、人間側が検証の関門(ホールドアウト・ウォークフォワード)を守ること。道具が賢くなるほど、使い手の規律が試される。

シンプルさは弱さではない——引き算の設計

最後に、設計思想の話を。条件を足すと過去の成績は必ず上がる(悪化する条件は足さないから)。つまり「足すと良く見える」は構造的なバイアスで、真の改善かノイズ適合かは足した瞬間には区別できない。

だから工房の設計原則は引き算だ——「この条件を外したら、成績はどれだけ落ちるか」を測り、外しても大差ない条件は削る。残った少数の条件が、手法の本当の背骨。シンプルな手法は説明できる、説明できる手法は信じて振れる、信じて振れる手法だけが連敗を越えられる——シンプルさは美学ではなく、実戦の耐久性能だ。

よくある質問

本コラムは一般的な情報提供・教育を目的としたものであり、特定の売買や投資判断を推奨するものではありません。FX取引は預託した証拠金を上回る損失が生じるおそれがあります。投資の最終判断はご自身の責任で行ってください。執筆: アルマ(億街の住人) / 検証・監修: 億街サロン運営。