Methodik

Wie DebateMetrics Werte berechnet

DebateMetrics verdichtet sprachlich beobachtbare Muster in Bundestagsdebatten zu zwei Metriken: Diskursqualität (DQ) und rhetorisches Verhalten (RV).

Quellmaterial

Das Quellmaterial besteht aus Plenarprotokollen des Deutschen Bundestages. Jede Sitzung des Bundestages wird als Plenarprotokoll bzw. stenografischer Bericht erfasst und vom Bundestag öffentlich bereitgestellt, in der Regel als PDF- oder XML-Datei. DebateMetrics extrahiert und verarbeitet dieses Material zur Analyse; daraus entstehende Textsegmente, Metadatenkorrekturen, Annotationen und Werte sind keine amtlichen Bundestagspublikationen.

Was gemessen wird

Die Werte beschreiben nicht, ob eine politische Position richtig ist. Bewertet wird, wie eine Fraktion in den erkannten Redebeiträgen argumentiert, strukturiert, belegt und mit anderen Positionen umgeht.

DQ: Diskursqualität

DQ fasst ein, wie klar, substanziell, thematisch passend und argumentativ nachvollziehbar Beiträge sind.

RV: Rhetorisches Verhalten

RV fasst ein, wie respektvoll, klar und kooperationsorientiert Beiträge sind und wie stark Angriffe, Ausweichen oder Polemik auftreten.

Warum neutrale LLM-Metriken?

LLMs werden hier als konsistente, unabhängige Annotatoren genutzt. Die Prompts verbieten externe Faktenprüfung und inhaltliche Wahrheitsbewertung, damit vergleichbare sprachliche Muster statt politischer Zustimmung bewertet werden.

Du bist ein unabhängiger, unparteiischer Politikwissenschaftler.

Pipeline

Aus dem Kapitel werden tatsächliche Redebeiträge erkannt und kanonischen Fraktionen zugeordnet.
Für jede Fraktion wird ein eigener gefilterter Text aus ihren Beiträgen erzeugt.
Jeder konfigurierte LLM-Provider bewertet diesen Fraktionstext getrennt für DQ und RV.
Zu den Bewertungen werden kurze Belege und Notizen gespeichert, damit Werte prüfbar bleiben.
Die gespeicherten Einzelwerte werden nach Beitragslänge gewichtet und zu Fraktionswerten aggregiert.

Diskursqualität im Detail

Alle DQ-Dimensionen liegen zwischen 0.0 und 1.0. Der aggregierte DQ-Wert ist der nach Beitragslänge gewichtete Mittelwert der neun Dimensionen.

Zielklarheit: Wird deutlich, worauf die Argumentation hinausläuft?
Argumentstruktur: Sind Behauptungen, Gründe und Schlussfolgerungen nachvollziehbar verbunden?
Kausales Denken: Werden Ursachen, Wirkungen oder Mechanismen erkennbar gemacht?
Gegenargumente: Geht der Beitrag auf andere Positionen ein?
Substanz: Enthält der Beitrag mehr als Schlagworte oder reine Positionierung?
Kalibrierung: Werden Sicherheit, Unsicherheit und Reichweite von Aussagen angemessen markiert?
Belegbezug: Werden Quellen, Beispiele, Zahlen oder konkrete Bezugspunkte genannt?
Belegqualität: Wirken die genannten Bezüge konkret und argumentativ hilfreich?
Themenrelevanz: Bleibt der Beitrag beim behandelten Thema?

DQ = gewichteter Mittelwert aus 9 Dimensionen, gewichtet nach Beitragslänge.

Rhetorisches Verhalten im Detail

Auch RV nutzt Werte von 0.0 bis 1.0. Problematische Dimensionen werden vor dem Mittelwert invertiert, damit höhere Gesamtwerte immer besseres rhetorisches Verhalten bedeuten.

Persönliche Angriffe: Hohe Rohwerte bedeuten mehr persönliche Herabsetzung.
Rhetorische Aggression: Hohe Rohwerte bedeuten aggressivere Sprache.
Respektvolle Ansprache: Hohe Werte bedeuten respektvolleren Umgang.
Ausweichsignale: Hohe Rohwerte bedeuten stärkeres Ausweichen.
Polemikdichte: Hohe Rohwerte bedeuten mehr polemische Zuspitzung.
Klarheit: Hohe Werte bedeuten verständlichere Formulierungen.
Kooperationssignale: Hohe Werte bedeuten mehr Anschlussfähigkeit und konstruktive Signale.

RV = gewichteter Mittelwert aus 1 minus Angriff, 1 minus Aggression, Respekt, 1 minus Ausweichen, 1 minus Polemik, Klarheit und Kooperation.

Was du damit vergleichen kannst

Die Filteransicht vergleicht Fraktionen über ausgewählte Protokolle, Kapitel und Provider. Die Detailsansicht zeigt zeitliche Verläufe, Provider-Unterschiede und die Belege hinter einzelnen Werten.

Fraktionen vergleichen Provider und Belege ansehen Quellcode auf GitHub