Eine Wissenschaftlerin aus den Niederlanden hat klare Verzerrungen bei der Notenvergabe von hochrangigen DressurrichterInnen festgestellt, die einer bestimmten Gruppe von ReiterInnen zugute kommen. Diese einseitigen Neigungen bilden eine sogenannte „Vorurteils-Kaskade", die – wenngleich unbeabsichtigt – zu unfairen Bewertungen führt, so die Autorin.

Inga Wolframm vom Zentrum für angewandte Forschung an der Van Hall Larenstein Universität für angewandte Wissenschaften in den Niederlanden ist dem komplexen System der Notenvergabe in Dressurbewerben mit ausgefeilten mathematischen und statistischen Methoden zu Leibe gerückt – und hat dabei einige bedenkliche Entdeckungen gemacht: Das aktuelle Bewertungssystem in der Dressur sei weit davon entfernt, unparteiisch, objektiv und fair für alle TeilnehmerInnen zu sein. RichterInnen würden dazu neigen, die Komplexität des Beurteilungsprozesses zu reduzieren und auf „kognitive Abkürzungen" zurückgreifen, woraus deutlich nachweisbare Vorurteile und auch klare nationale bzw. nationalistische Tendenzen resultieren.

Wolframm hielt einleitend fest, dass die Idee der Voreingenommenheit bei der Dressurbeurteilung nicht neu sei und bereits mehrere Studien die Existenz verschiedener Arten systematischer Fehler belegen würden: „Die enorme Komplexität, eine Vielzahl von Bewegungen in unterschiedlichen Gangarten und in schneller Folge beurteilen zu müssen, stellt eine hohe kognitive Belastung dar, die – wenn sie nicht effektiv bewältigt wird – höchstwahrscheinlich die menschliche Verarbeitungskapazität übersteigt. Folglich stützen sich Dressurrichter bei der Entscheidungsfindung eher auf viel einfachere kognitive Strategien, was zu einem systematischen Beurteilungsfehler bei der Bewertung von Dressurbewerben führt.“

Wolframm wies darauf hin, dass in den letzten Jahren bereits Versuche unternommen wurden, die Zuverlässigkeit der Ergebnisse zu verbessern, beispielsweise durch die Einführung des Richteraufsichtsgremiums, die Einführung halber Punkte, die Erweiterung des Richtergremiums von fünf auf sieben Richter bei wichtigen Championaten bzw. Meisterschaften usw., die Nutzung der Echtzeitbewertung und die Veröffentlichung zusätzlicher Bewertungsrichtlinien, um den Richtern bei der Erkennung schwerwiegender Fehler in einer Prüfung zu helfen.

Inga Wolframm: „Das Dressur-Bewertungssystem hat jedoch noch keine wesentlichen Änderungen erfahren, was bedeutet, dass die zugrunde liegende Komplexität der Anforderungen an die Richter im Wesentlichen unverändert geblieben ist. Es ist daher sehr wahrscheinlich, dass das aktuelle Dressursystem die Richter weiterhin dazu verleitet, versehentlich kognitive Abkürzungen zu verwenden.“

In ihrer Studie wollte Wolframm herausfinden, ob internationale Dressurrichter, die für die Beurteilung auf höchstem Niveau des Sports qualifiziert sind, bei der Beurteilung von Elite-Pferd-Reiter-Kombinationen während des Wettbewerbs möglicherweise zu systematischen Fehlern neigen. Sie untersuchte 510 Richterergebnisse aus sieben Fünf-Sterne-Dressurwettbewerben, die zwischen Mai 2022 und April 2023 stattfanden.

Die Richter kamen aus den Niederlanden, Frankreich, Schweden, den Vereinigten Staaten, Deutschland, Dänemark, der Schweiz, Portugal, Großbritannien, Russland und Luxemburg. Analysiert wurden die Auswirkungen verschiedener Faktoren, beispielsweise ob die Reiter in ihrem Heimatland an den Start gingen, ob sie die gleiche Nationalität wie die Kampfrichter hatten, ihre Startreihenfolge während des Wettbewerbs und wie sie aufgrund früherer Leistungen eingestuft wurden. Die Ergebnisse zeigten, dass all diese Faktoren die endgültigen Dressurergebnisse beeinflussten.

Die Modellierung von fünf Vorhersage-Variablen – ob der Reiter zu Hause antrat, ob er dieselbe Nationalität wie der Richter hatte, ob der Reiter dieselbe Nationalität wie einer der anderen Richter im Gremium hatte, seine Platzierung in der FEI-Rangliste und die Startreihenfolge – machten 44,1 % der Varianz in der Dressur-Gesamtwertung aus. Der Einfluss der vier letztgenannten Faktoren sei statistisch signifikant, so Wolframm – und zog daraus einen eindeutigen Schluss: „Die Richter zeigten Vorurteile, die auf Nationalismus bzw. ,stellvertretenden Patriotismus' basieren und vergaben deutlich höhere Punktzahlen an Reiter aus ihren Ländern.“

Bei der Diskussion ihrer Ergebnisse meinte Wolframm, dass diese bestätigen, dass die Dressurergebnisse auf höchstem Niveau des internationalen Dressursports nicht nur eine objektive Widerspiegelung der Leistungen der Reiter an diesem Tag seien: „Fast die Hälfte der Varianz in den Dressurnoten kann durch die Kombination anderer Faktoren erklärt werden: ob Richter und Reiter die gleiche Nationalität haben, frühere Leistungen laut FEI-Rangliste, Startposition oder ob der Reiter in seinem Heimatland antritt. ”

Wolframm wies darauf hin, dass der Einfluss der Nationalität auf das Beurteilungsverhalten in anderen Sportarten gut dokumentiert sei. Wie die aktuelle Studie zeigt, scheinen auch Dressurrichter davor nicht gefeit zu sein und „vergeben systematisch höhere Bewertungen an Reiter, die die gleiche Nationalität haben. Bei einem individuellen Beitrag zur Gesamtvarianz der Werte von 5,76 % könnte der Effekt der nationalistischen Voreingenommenheit als relativ gering angesehen werden, ist aber dennoch hochsignifikant. Darüber hinaus tendieren die Richter dazu, Reitern, die dieselbe Nationalität wie eines der anderen Mitglieder der Jury haben, höhere Bewertungen zu geben. Hier ist der individuelle Beitrag dieser indirekten nationalistischen Voreingenommenheit oder des „stellvertretenden Patriotismus" fast doppelt so hoch, nämlich 10,18 %.“

Es sei auch logisch, dass jeder Reiter, der von der nationalistischen Voreingenommenheit eines der Richter profitiert, auch von der Tendenz zum „stellvertretenden Patriotismus“ aller anderen Richter profitiert, so Wolframm. „Dadurch könnten Reiter mit der gleichen Nationalität wie einer der Juroren im Gremium im Durchschnitt 3,54 % höhere Ergebnisse erzielen als Reiter mit einer anderen Nationalität.“

Wolframm ging auf die Komplexität eines potenziellen „Heimvorteils“ für Konkurrenten ein. Für sich genommen könnten sie sogar einen leichten Nachteil haben. Gemäß den FEI-Dressurregeln gilt nationalistisches Richten als Interessenkonflikt und muss von den amtierenden Richtern als solcher deklariert werden. „Es ist daher möglich, dass Richter sich aktiv darum bemühen, bei ihrer Beurteilung nicht nationalistisch zu sein und so bei der Beurteilung einheimischer Wettbewerber eine Überkompensation herbeizuführen. Dennoch wird jeder bewusste Versuch, strenger zu sein, letztendlich durch das unbewusste Festhalten der Richter an gruppeninternen Normen zunichte gemacht.“

Nationalistische Voreingenommenheit und stellvertretender Patriotismus, der Reiter aus ihrem eigenen Land und die ihrer Mitrichterkollegen bevorzugt, können so weit gehen, alle Nachteile zu beseitigen, die Reiter sonst bei Wettkämpfen zu Hause erleiden könnten. „Vor allem die durch nationalistische und stellvertretende Patriotismus-Vorurteile verursachten Punkteunterschiede können erhebliche Auswirkungen auf die endgültige Platzierung eines Wettbewerbs haben, wie die signifikanten Punkteunterschiede für Reiter belegen, die aus demselben Land stammen wie die Richter in der Jury und diejenigen, die es nicht sind. Um zu veranschaulichen, was das in der Praxis bedeuten könnte: Beim Dressur-Weltcup-Finale 2023 hatte der Siebtplatzierte eine andere Nationalität als alle Richter. Mit 3,54 % mehr wäre sie am Ende auf dem fünften Platz gelandet.“

Laut Wolframm ist die Bevorzugung innerhalb der Gruppe durch nationalistische Vorurteile nicht nur von Natur aus unfair, sondern kann auch weitere unbeabsichtigte Nebenwirkungen haben. Da alle internationalen Ergebnisse bei der FEI registriert werden, führt eine höhere oder niedrigere Endplatzierung bei einem internationalen Wettbewerb unweigerlich zu einer höheren oder niedrigeren FEI-Rangliste. „Wie aktuelle Erkenntnisse zeigen, hat das FEI-Ranking mit einem einmaligen Beitrag von 7,84 % auch einen erheblichen Einfluss auf die Endnote. Auf den ersten Blick mögen diese Ergebnisse nicht völlig überraschend erscheinen. Schließlich gilt die FEI-Weltrangliste in der gesamten Reitsportgemeinschaft seit langem als verlässlicher Indikator für die Fähigkeiten von Reitern, und eine niedrigere numerische Zahl in der Rangliste entspricht intuitiv einer höheren Punktzahl.“ Dieser Zusammenhang ist in den Daten erkennbar.

Daher trägt die FEI-Rangliste von Natur aus zum Ansehen des Reiters bei. Wolframm weist darauf hin, dass Untersuchungen in vielen Bereichen wie Unternehmensführung, Kundenbindung und Sport gezeigt haben, dass die Reputation ein äußerst wichtiger „Moderator" des Bewertungsverhaltens ist: Je höher die Reputation, desto wahrscheinlicher ist auch eine positive Bewertung. „Darüber hinaus besagt eines der Grundprinzipien der sozialen Kognitionsforschung, dass leicht zugängliche Informationen das Urteilsvermögen eher beeinflussen, insbesondere in Zeiten hoher kognitiver Belastung. „Je besser also der Ruf eines Reiters ist, desto wahrscheinlicher ist es, dass die Richter – versehentlich – auf Informationen zurückgreifen, die sich auf die vergangenen Leistungen dieses Reiters beziehen, und nicht auf seine aktuelle Form.“ Schließlich hat die FEI-Rangliste auch einen direkten Einfluss auf die Startreihenfolge der Teilnehmer, da Reiter mit niedrigerem Rang am Wettkampftag früher antreten müssen.

Die Ergebnisse zeigen einen relativ kleinen, aber dennoch signifikanten individuellen Beitrag der Startreihenfolge zum Endergebnis. „Während die derzeitige Praxis, die Startreihenfolge durch Auslosung in Fünfergruppen zu bestimmen, möglicherweise dazu beigetragen hat, die bekannte Reihenfolgenverzerrung zu mildern, werden Reiter, die später am Tag antreten, im Durchschnitt weiterhin davon profitieren. Der Aktualitätseffekt besagt, dass sich Entscheidungsträger in Situationen mit hoher kognitiver Belastung übermäßig auf die zuletzt präsentierten Informationen verlassen, um eine Entscheidung zu treffen. Untersuchungen haben gezeigt, dass Vergleiche in eine Richtung dazu führen, dass ‚neue‘ Merkmale in jeder neuen Leistung überschätzt werden. Angesichts der Tatsache, dass Pferd-Reiter-Kombinationen auf Eliteniveau im Allgemeinen einzigartigere positive Eigenschaften aufweisen, werden Reiter, die später am Tag antreten, wahrscheinlich höhere Punktzahlen erhalten.“

Wolframm wies auch darauf hin, dass die derzeitige Praxis, hochrangige Kombinationen später am Tag beginnen zu lassen, die Richter wahrscheinlich dazu veranlassen wird, sich – unbeabsichtigt – auf eine voreingenommene Reihenfolge einzulassen:„Dressurbewerbe auf höchstem Level können als Schaufenster des Sports betrachtet werden“, so Wolframm. „Während Elitereiter als Vorbilder des Pferdesports gelten, sollten Richter als Hüter seiner Grundprinzipien angesehen werden.

Derzeit wird von den Richtern jedoch das Unmögliche verlangt: Sie müssen immer wieder blitzschnelle Entscheidungen für jede einzelne ausgeführte Bewegung treffen und dabei eine Vielzahl von Leistungsindikatoren berücksichtigen – von den natürlichen athletischen Fähigkeiten des Pferdes, dem Trainingsstand in allen Aspekten der Ausbildungsskala, die präszise Ausführung der Lektionen im Viereck sowie die Qualität der Beziehung zwischen Pferd und Reiter, die sich durch den Grad des Gehorsams zeigt; und gleichzeitig haben sie sicherzustellen, dass das Wohlergehen des Pferdes durchgehend gewährleistet ist.“

Als Reaktion auf solche kognitiven Komplexitäten müssen Richter unweigerlich und unbeabsichtigt auf andere, leichter verfügbare Informationsquellen zurückgreifen, wie etwa Nationalität, frühere Leistungen, Ruf und Startreihenfolge, so Inga Wolframm. „Wie aktuelle Erkenntnisse und frühere Forschungen belegen, verbinden sich diese kognitiven Abkürzungen anschließend zu einer regelrechten ‚Vorurteils-Kaskade‘, bei der eine Art von Voreingenommenheit bzw. Einseitigkeit die Wirkung einer anderen verstärkt. Während ein solches System letztendlich für die etablierteren Reiter-Reiter-Kombinationen aus Ländern, die Richter bei Elite-Wettbewerben stellen, von Vorteil sein kann, ist es weder fair gegenüber den Richtern, noch unterstützt es die Entwicklung der Dressur als transparentes, objektives und nachhaltiges System Sport, bei dem das Wohlergehen und die Fairness gegenüber seinen Sportlern und Pferden im Vordergrund stehen.“

Inga Wolframm weiter: „Es ist daher an der Zeit, Anstrengungen zu unternehmen, um ein transparenteres, eindeutigeres Beurteilungssystem zu entwickeln, das auf evidenzbasierten Kriterien basiert, um den Weg für eine genauere, zuverlässigere und objektivere Beurteilungsweise zu ebnen. Eine Aufgabenteilung unter den Richtern würde wahrscheinlich die kognitive Belastung für jeden von ihnen verringern und damit die Wahrscheinlichkeit einer übermäßigen Abhängigkeit von kognitiven Abkürzungen verringern.“ So könnten etwa die Aufgaben für die Beurteilung des Pferdewohls, der sportlichen Leistung, der Effektivität des Reiters und der Bewegungsgenauigkeit auf die Richter verteilt werden, wobei alle Aufgaben evidenzbasiert und für eine kontinuierliche Überprüfung offen sein sollten, so Wolframm.

Sie betont, dass ein transparenteres und objektiveres Bewertungssystem im Dressursport notwendig sei, um die Grundsätze fairer und gerechter Sportstandards zu wahren. „Die unbeabsichtigte Abhängigkeit des aktuellen Systems von kognitiven Abkürzungen und Vorurteilen birgt Risiken für die Integrität und nachhaltige Entwicklung des Dressurreitens, was auch seine gesellschaftliche Akzeptanz untergraben kann.“

Die FEI sollte der Entwicklung klar definierter, eindeutiger Bewertungsrichtlinien Priorität einräumen, die auf evidenzbasierten, auf das Pferdewohl ausgerichteten Kriterien basieren, so Wolframms Resümee: „Dies würde es den Richtern ermöglichen, die Leistungen genauer und unparteiischer zu bewerten, was zu einem verantwortungsvolleren Sport führen würde, bei dem das Wohlergehen der Pferde im Mittelpunkt steht. Durch die Einführung eines objektiveren und transparenteren Bewertungssystems kann der Sport das Wohlergehen der Pferde besser gewährleisten und seine gesellschaftliche Akzeptanz wahren.“

Die Studie „Let Them Be the Judge of That: Bias Cascade in Elite Dressage Judging" von Inga Wolframm ist am 3. Sep. 2023 in der Zeitschrift ,animals' erschienen und kann in englischer Originalfassung hier nachgelesen werden.