Warum die meisten Backtests zu gut aussehen: die 8 häufigsten Fehler und woran du ein ehrliches Tool erkennst

Die 8 häufigsten Backtesting-Fehler im Überblick

Für den schnellen Überblick: die acht Fehler, was sie bewirken und die jeweils stärkste Zahl dahinter. Die Details und Quellen folgen in den Abschnitten darunter.

Fehler 1: Overfitting durch Mehrfachtesten

Wer hundert Varianten einer Strategie testet und die beste präsentiert, hat mit hoher Wahrscheinlichkeit keine Strategie gefunden, sondern Rauschen. Bailey, Borwein, López de Prado und Zhu entwickelten dafür die „Probability of Backtest Overfitting"; Bailey und López de Prado ergänzten die Deflated Sharpe Ratio (die Sharpe Ratio ist das gängige Maß für Rendite pro Risiko), die eine berichtete Sharpe Ratio um die Anzahl der Versuche, die Stichprobenlänge und die Verteilungsform korrigiert. Ihre unbequeme Kernaussage: Die im Backtest beste Variante schneidet außerhalb der Stichprobe tendenziell sogar schlechter ab als der Median aller Versuche.

Campbell Harvey und Yan Liu ziehen in ihrem Papier „Backtesting" eine harte Konsequenz: Wegen des Mehrfachtestens verlangen sie für neue Strategien eine strengere Signifikanzschwelle (t ≥ 3,0 statt 2,0). Der Grund ist dokumentiert: Die akademische Literatur hat inzwischen 316+ Renditefaktoren durchgetestet, den sogenannten „Factor Zoo". Bei so vielen Versuchen sind beeindruckende Zufallstreffer mathematisch garantiert.

Daraus folgt der wichtigste Satz dieses Artikels: Ein Backtest ohne Angabe, wie viele Varianten probiert wurden, ist wertlos.

Fehler 2: Survivorship Bias

Fonds-Datenbanken enthalten überwiegend die Überlebenden. Geschlossene und fusionierte Fonds verschwinden mitsamt ihrer schlechten Historie, und Elton, Gruber und Blake bezifferten die dadurch entstehende Überzeichnung annualisierter Renditen auf ~0,9 pp pro Jahr. Das klingt klein. Über Jahrzehnte ist es ein erheblicher Teil dessen, was in Rückrechnungen wie Können aussieht.

Der Bias steckt aber nicht nur in Fonds-Daten, sondern in den Indizes selbst. Der Nasdaq-100, auf dem viele Hebel-Backtests laufen, kuratiert seine Gewinner laufend nach: Absteiger fliegen raus, Aufsteiger rücken nach. Dass ausgerechnet dieser Index vier Jahrzehnte so lief, wie er lief, wusste 1985 niemand. Ein Nasdaq-Backtest testet deshalb immer auch die nachträgliche Gewissheit, auf den richtigen Index gesetzt zu haben. Das lässt sich nicht wegrechnen. Aber ein ehrlicher Backtest sagt es dazu.

Fehler 3: Look-Ahead Bias

Der Klassiker bei Trendfolge-Strategien geht so: Das Signal entsteht auf Basis des Tagesschlusskurses, und der Backtest führt zum selben Schlusskurs aus. Das klingt harmlos, ist aber eine kleine Zeitreise. Ob der Kurs über oder unter seiner 200-Tage-Linie schließt, steht erst mit dem Schlusskurs fest; real kannst du frühestens am nächsten Morgen zur Eröffnung handeln, und dazwischen liegt eine Nacht, in der der Kurs springen kann. Ein Same-Close-Backtest kauft systematisch mit dem Wissen von heute zu den Kursen von gestern und schönt so jede Trendfolge-Rechnung.

Look-Ahead hat viele Verwandte: die heutige Indexzusammensetzung, rückwirkend auf frühere Jahre angewandt, oder Kursreihen, deren Anpassungen Zukunftsinformation enthalten. Allen gemeinsam ist, dass der Fehler in der fertigen Kurve unsichtbar bleibt und das Ergebnis nur in eine Richtung verzerrt: nach oben.

Fehler 4: Timing-Luck. Ist deine Parameterwahl Können oder Würfel?

Angenommen, dein Backtest zeigt: Die 200-Tage-Linie funktioniert. Hättest du mit 205 Tagen dasselbe Ergebnis bekommen? Corey Hoffstein und Newfound Research haben diese Frage systematisch untersucht und den Effekt als „Rebalance Timing Luck" formalisiert. Der Befund: Benachbarte Varianten wie 200 und 205 Tage sind langfristig statistisch nicht zu unterscheiden, liefern kurzfristig aber massiv unterschiedliche Ergebnisse, weil sie an unterschiedlichen Tagen auslösen. Sogar der exakte Tag im Monat, an dem eine Strategie rebalanciert, verändert die Ergebnisse signifikant.

Das hat eine unangenehme Konsequenz für jeden, der „die beste" Parameterkombination präsentiert: Die Wahl der einen Gewinner-Variante ist selbst In-Sample-Optimierung, also Fehler 1 durch die Hintertür. Hoffsteins Antwort darauf sind Ensembles, mehrere benachbarte Varianten parallel, damit sich das Glück herausmittelt. Die Mindestanforderung an ein ehrliches Tool ist schwächer, aber klar: Es zeigt die Ergebnis-Bandbreite über die Nachbar-Parameter, nicht nur die eine Kombination. Als Faustregel zur Veranschaulichung, kein Messwert: Kippt eine Strategie von Gewinn auf Verlust, wenn ein Parameter nur leicht wandert, etwa von 20 auf 22 Perioden, war sie nie robust.

Ich bin in diese Falle selbst gelaufen. Meine erste Trendfolge-Regel war eine einzelne 190-Tage-Linie, und im Backtest sah sie überzeugend aus. Erst Hoffsteins Arbeit machte mir klar, dass zwischen 190, 200 und 205 Tagen weniger Können und mehr Würfel liegt, als eine einzelne Backtest-Kurve suggeriert. Das war einer der Gründe, den Backtest-Standard im Tool von einer einzelnen Linie auf ein Regelwerk mit Sensitivitäts-Prüfung umzustellen.

Fehler 5: Regime-Abhängigkeit

Ein Backtest, der nur ein Marktregime enthält, testet nicht die Strategie, sondern das Regime. Das teuerste Anschauungsbeispiel der letzten Jahre ist HFEA, ein dreifach gehebeltes Aktien-Anleihen-Portfolio aus dem Bogleheads-Forum (aktuell rund 55 % UPRO / 45 % TMF): Im Backtest ab 1982 sah es brillant aus, weil dieser Zeitraum fast durchgehend fallende Zinsen enthielt. 2022, als Aktien und Anleihen gleichzeitig fielen, verlor HFEA bis Anfang Oktober rund −53 %, während der S&P 500 bei −16 % lag. Die ganze Geschichte steht im Artikel über HFEA und das Jahr 2022.

Dieselbe Frage muss sich jeder Nasdaq-Backtest gefallen lassen, unserer eingeschlossen: Die Historie ab 1999 enthält Dotcom-Crash, Finanzkrise, Corona und 2022, aber keine Stagflation wie in den 1970ern und keinen gut 16 Jahre langen Seitwärtsmarkt wie 1966 bis 1982. Was eine Strategie in einem Regime kann, das in ihren Daten nicht vorkommt, weiß niemand. Auch wir nicht.

Fehler 6: Fehlende Finanzierungskosten bei Hebel-ETFs

Der häufigste Rechenfehler bei Hebel-Backtests: Tagesrendite mal drei, minus TER (die laufenden Fondskosten pro Jahr), fertig. So funktioniert ein 3x-ETF aber nicht. Er leiht sich rund 200 % seines Nettovermögens zusätzlich und zahlt darauf Zinsen plus Spread, und diese Finanzierungskosten stehen nicht in der TER. etf.com hat den Unterschied gemessen: UPRO, der bekannteste 3x-S&P-500-ETF, lieferte in einem Jahr real 41 %, während ein rechnerisch perfektes 3x-Modell ohne Finanzierungskosten 52 % ergeben hätte (das genaue Jahr nennt die Quelle nicht). Finanzfluss beschreibt für einen 2x-USA-ETF ein ähnliches Rendite-Defizit (real ~1,7x statt 2,0x), erklärt es dort aber primär über Volatility Drag statt über Finanzierungskosten.

Die Lücke wächst mit dem Leitzins, denn geliehen wird zum kurzfristigen Geldmarktsatz. Ein naiver Mal-drei-Backtest überschätzt Hebel-Renditen deshalb systematisch, am stärksten in Hochzinsphasen. Ob gehebelte ETFs trotz dieser Kosten langfristig sinnvoll sein können, und an welcher Bedingung das hängt, behandelt der Artikel über Hebel-ETFs für langfristiges Anlegen.

Fehler 7: Monats- statt Tagesdaten

Portfolio Visualizer, lange das Standard-Tool der Community, rechnet mit Monatsdaten. Für Buy-and-Hold-Vergleiche ist das verschmerzbar. Für alles andere nicht: Ein Monatsendwert sieht das Tief in der Monatsmitte nicht, Drawdowns und Volatilität wirken dadurch flacher, als sie waren. Ein täglich resettender Hebel-ETF lässt sich mit Monatsdaten grundsätzlich nicht sauber abbilden, weil seine Pfadabhängigkeit genau auf Tagesebene entsteht. Und eine Trendfolge-Strategie, die täglich Signale prüft, braucht Tagesdaten, sonst testet man ein anderes System als das, das man später handeln will.

Fehler 8: Fehlende Steuern

Praktisch kein verbreitetes Backtest-Tool rechnet Steuern. Portfolio Visualizer schließt echte Steuern in seiner FAQ ausdrücklich aus dem Standard-Ergebnis aus, testfol.io und Curvo rechnen ebenfalls vor Steuern. Auch die vielzitierte 200-Tage-Linien-Analyse von HQ Trust (7,1 % p.a. für die Strategie gegen 7,3 % für Buy-and-Hold, 1973 bis August 2024) weist ihre Ergebnisse ohne Steuereffekte aus.

Für Strategien, die zwischen Investiert und Cash wechseln, ist das der größte einzelne Realitätsbruch: Jeder Verkauf realisiert Gewinne und löst in Deutschland Abgeltungsteuer aus, während Buy-and-Hold die Steuer stundet und den Zinseszins darauf behält. Gerd Kommer beziffert diesen Stundungsvorteil im Worst Case jährlicher Vollrealisierung auf rund 1,1 pp Nettorendite pro Jahr. Was das für eine 200-Tage-Strategie nach deutschem Steuerrecht konkret bedeutet, rechnet der Artikel über die 200-Tage-Strategie nach Steuern durch. Und damit es hier klar gesagt ist: Unser eigenes Tool rechnet die deutsche Abgeltungsteuer inzwischen direkt mit. Ein optionaler DE-Steuer-Modus zeigt die Netto-Sicht nach Teilfreistellung und Sparerpauschbetrag. Dazu gleich mehr.

Woran erkennst du ein ehrliches Backtest-Tool?

Aus den acht Fehlern folgt eine Checkliste mit sieben Kriterien: tägliche Daten, Hebel mit Finanzierungskosten, Ausführung ohne Look-Ahead, sichtbare Parameter-Bandbreite, Out-of-Sample-Prüfung, deutsche Steuern und EUR-Sicht. So schlagen sich die drei verbreitetsten Tools und unser eigenes. Wo wir eine Eigenschaft eines fremden Tools nicht geprüft haben, steht das so in der Tabelle, statt zu raten.

Fair vorweg: testfol.io ist bei der Hebel-Simulation stark und hat Portfolio Visualizer in den Hebel-Communities weitgehend abgelöst, mit täglicher Simulation, Finanzierungskosten auf Basis historischer Fed-Funds-Zinsdaten ab 1954 und einem justierbaren Finanzierungs-Spread. Curvo wiederum ist das einzige der drei mit konsequenter EUR-Perspektive und langer MSCI-Historie. Beim Hebel-Punkt muss man genau hinschauen: Curvo listet reale gehebelte UCITS-ETFs als Portfolio-Bausteine, eine einstellbare synthetische Hebel-Simulation mit Finanzierungskosten wie bei testfol.io gibt es dort aber nicht. Und Timing-Strategien kann Curvo nicht testen, es rechnet nur Buy-and-Hold und Sparplan.

Die Steuern-Zeile war lange die unbequemste: Dort stand bei allen vier Tools Nein. Bei den drei fremden Werkzeugen steht es weiter; unser Tool rechnet die deutsche Steuer inzwischen mit und hat damit die Lücke geschlossen, die wir hier lange selbst benannt haben. Der Unterschied bleibt, ob ein Anbieter eine Lücke offen benennt, statt sie zu verschweigen.

Unsere eigenen Karten, offen auf den Tisch

Was unsere Engine tut, dokumentiert im Detail die Seite Methodik und Grenzen. Die Kurzfassung entlang der acht Fehler: Signale entstehen auf dem Tagesschlusskurs, ausgeführt wird am Open des Folgetags, ohne Look-Ahead (Fehler 3). Gerechnet wird auf Tagesdaten mit Total-Return-Preisen, also inklusive Dividenden (Fehler 7). Die synthetische 3x-Historie vor 2010 enthält Finanzierungskosten aus T-Bill-Zins plus kalibriertem Spread sowie die TER (Fehler 6), und jede Ausführung kostet pauschal 0,1 % des gehandelten Volumens. Gegen Overfitting läuft der Optimizer mit Train/Test-Split, bewertet also auf Daten, die die Optimierung nie gesehen hat (Fehler 1), und eine SMA-Sensitivitätstabelle zeigt die Nachbar-Parameter statt nur der Gewinner-Kombination (Fehler 4). Das Monte-Carlo-Modul ist deterministisch geseedet und dokumentiert seine Grenzen, statt sie zu verstecken.

Und jetzt die Ehrlichkeit in eigener Sache, inzwischen mit weniger Lücken als früher. Zwei, die hier lange standen, sind geschlossen: Das Tool rechnet die deutsche Abgeltungsteuer jetzt optional mit (Fehler 8; wichtig, weil jeder Verkauf einer Umschichtungs-Strategie in Deutschland Steuer auslöst, während Buy-and-Hold den Steuerstundungs-Zinseszins behält), und es gibt eine umschaltbare EUR-Sicht mit EZB-Wechselkursen statt nur USD. Auch die Cash-Verzinsung lässt sich zuschalten: Standardmäßig werden Cash-Phasen mit 3-Monats-T-Bill (^IRX) gerechnet (konservativ, das lässt die Strategie eher schlechter aussehen), per Cash-Zins-Schalter aber mit dem T-Bill-Zins kurzlaufender US-Staatsanleihen. Offen bleibt vor allem eine Modell-Grenze: Das Monte-Carlo-Modul bootstrappt die fertige Strategie-Kurve, statt die Signale auf jedem simulierten Pfad neu zu berechnen; das Risiko von Fehlsignalen in Alternativpfaden unterschätzt es damit. Jedes Backtest-Tool hat so eine Liste. Der Unterschied ist nur, ob sie veröffentlicht wird.