Zum Inhalt springen

29 JUL 2023

„Wissenschaftlich basiert“
Die neue Mode?

Immer mehr TrainerInnen werben heute mit den Worten „wissenschaftlich basiert“ oder „unter Anwendung wissenschaftlich erprobter Methoden“, o.Ä.

Ja, ich auch.

Und ich sehe das durchaus sehr kritisch.

Das Ziel dahinter ist, in seinen Trainingsmethoden einen hohen Standard zu gewährleisten, weil die angewandten Techniken erwiesenermaßen zum Erfolg führen und zwar besser als andere (herkömmliche?) Techniken. Zumindest ist das der Eindruck, der bei mir immer wieder entsteht, wenn ich die Angebote anderer TrainerInnen lese.

Und da geht das Problem schonmal los. In einem Satz habe ich mehrere Wörter verwendet, die auf den ersten Blick gar nicht mal so klar sind. Bevor wir uns dem „wissenschaftlich basiert“ Thema widmen, müssen wir also erstmal ein paar Begriffe definieren – wir Wissenschaftler LIEBEN Definitionen!

First things first: Definitionen

Wer wissenschaftliche Texte, Texte zur Fort- und Weiterbildung, oder auch verschiedene offizielle, behördliche Texte liest, kennt das: irgendwo im Dokument ist ein Glossar zu finden, das die wichtigsten Fachbegriffe alphabetisch erklärt. Der Brockhaus (Hrsg. Bibliographischen Institut & F. A. Brockhaus) ist quasi ein einziges Glossar, ein Nachschlagewerk, ein Lexikon.

Definitionen sind im Grunde das, was wir in so einem Lexikon finden: Detaillierte, eindeutige Erklärungen für bestimmte Begriffe (auch Verhaltensweisen sind in Studien definiert, damit jede*r genau weiß, wie das spezifische Verhalten aussieht).

-> check: wir wissen schonmal was eine Definition ist.

Methoden vs. Techniken

Die Begriffe „Methode“ und „Technik“ werden häufig ganz willkürlich verwendet. Allerdings grenzen sie sich voneinander ab:


Eine Technik ist dabei eine bestimmte Fertigkeit oder Tätigkeit, also die Anwendung bestimmter Erkenntnisse [1].

Eine Methode ist ein bestimmtes Schema, das immer gleich abläuft und aus mehreren Techniken bestehen kann. Eine Methode ist ein planmäßiges Verfahren, das bestimmten Regeln folgt, nach denen z.B. Erkenntnisse oder Techniken organisiert sind [2]. Eine Methode ist quasi ein Rezept, das Abweichungen, wenn überhaupt, nur in begrenzten Maßen zulässt.

… und jetzt könnte ich hier weiter über Techniken, Methoden, Methodik, die Methodologie und Co weiterphilosophieren. Aber darum soll es hier nicht gehen.

Bei JHM Ethology geht es ja primär um Tiertraining. Und zwar um „wissenschaftlich basiertes“ – Da ist es schon wieder!

Die Methodik der Wissenschaft

Eine Methodik beschreibt, wie eine Methode planmäßig abzulaufen hat [3]. Die Methodik der Wissenschaft umfasst dabei klare Schritte, auf die ich weiter unten nochmal zurückkomme:

  • Formulierung einer Hypothese (eine theoretische Idee, deren Vorhersagen getestet werden können)
  • Empirische Datenerhebung (das kann eine experimentelle Studie, aber auch eine zusammenfassende Auswertung vieler Studien zum gleichen Thema sein)
  • Versuchskontrolle (bspw. erhält in medizinischen Studien eine Patientengruppe nur eine Placebo-Pille, in Verhaltensstudien wird ein Verhalten ohne den untersuchten und zugeführten Reiz beobachtet)
  • (bestenfalls) Bestätigung der Hypothese – wichtig dabei: eine Hypothese kann niemals abgelehnt werden. Sie wird nur als „abgelehnt“ angesehen, wenn die statistische Auswertung der erhobenen Daten ergibt, dass die Hypothese „sehr unwahrscheinlich“ ist. Genauso gilt sie als „bestätigt“, wenn sie „(sehr) wahrscheinlich“ ist.

Was bedeutet jetzt „wissenschaftlich basiert“?

Wenn wir jetzt „wissenschaftlich basiert“ definieren wollen, dann würde ich das so machen:

„begründet mit der Hypothese, die nach einer statistischen Auswertung empirisch aufgenommener Daten als sehr wahrscheinlich bestätigt wurde“

 – Yay, wir Wissenschaftler lieben auch kompliziertes Deutsch!

Ich sag’s mal einfacher: „auf wissenschaftlichen Studien beruhend“

Und das ist übrigens auch die Definition, die das DWDS für evidenzbasiert ausspuckt [4].
Dagegen bedeutet wissensbasiert einfach, dass bestimmtes Wissen zugrunde liegt [5]. Worauf sich dieses Wissen bezieht, ist unerheblich und muss nichts mit einer wissenschaftlichen Studie zu tun haben.
 

Wissenschaftliche Studien

Wissenschaftliche Studien folgen also einem bestimmten Muster, einem festgelegten Schema, einer Methode, die durch die Methodik der Wissenschaft festgelegt ist. Erinnerung: eine Methode lässt nur sehr wenig Spielraum für Abweichungen zu.

Das gilt insbesondere für Studien, die in wissenschaftlichen Fachzeitschriften publiziert werden. Und – meiner Ansicht nach – sind es diese Studien, die dem „wissenschaftlich basiert“ zugrunde liegen sollten. (Ich möchte hier nicht auf die Qualität einzelner publizierter Studien eingehen, das ist eine ganz andere Diskussion. Auch möchte ich damit nicht sagen, dass nicht publizierte Daten weniger aussagekräftig sind, oder nicht-wissenschaftlich erhobene Daten keinen Wert haben.)

Denn es hat einen Grund, warum wissenschaftliche Studien so durchgeführt werden, wie sie eben durchgeführt werden. Und zwar funktioniert das bei experimentellen Studien so:

  • Stellen einer spezifische Forschungsfrage „research question“, die innerhalb eines breiten Themengebiets noch ungeklärt ist „research gap“ -> Entwicklung einer Hypothese mit testbaren Vorhersagen
  • Beobachtung (möglichst) vieler Individuen unter bestimmten Rahmenbedingungen, die in min. zwei Gruppen entweder einem bestimmten Faktor ausgesetzt sind (experimentelle Gruppe) oder eben nicht (Kontrollgruppe) -> Empirische Datenerhebung
  • Der Kern der wissenschaftlichen Studie: Statistische Auswertung inwieweit dieser Faktor (z.B. Haltung im Offenstall) die Beobachtung (z.B. den Gesundheitsstatus) beeinflusst -> Ermittlung der Wahrscheinlichkeit der Hypothese, indem die getroffenen Vorhersagen bestätigt werden oder nicht
  • Diskussion der erlangten Ergebnisse auch im Zusammenhang mit ähnlichen, bereits publizierten Studien -> Bewertung der evaluierten Wahrscheinlichkeit der Hypothese

Und wenn das alles Hand und Fuß hat, interessant ist und weiteren Formalitäten (z.B. der guten wissenschaftlichen Praxis) folgt, dann wird die Studie in einer passenden Fachzeitschrift publiziert. Allerdings nur, wenn sie die „Qualitätskontrolle“ von (unabhängigen) Fachkollegen bestanden haben. Man nennt das „peer-review process“. Dabei überprüfen andere Forschende des gleichen oder angrenzenden Fachgebiets die Studie u.a. auf Genauigkeit, Logik, Vollständigkeit und ihren Erkenntniswert.

Wissenschaftliche Publikationen

Je nach Fachzeitschrift ist die publizierte Studie in einem bestimmten Umfang, Format und einer bestimmten Reihenfolge zu lesen. Dabei kommt es nicht nur auf das Layout des Verlags an, sondern auch auf die Breite des erwarteten Leserspektrums und deren Fachkenntnisse. Science Artikel sind z.B. für die breite Masse relativ allgemein in verständlicher Sprache formuliert, während das International Journal of Primatology (… ich komme halt aus der Primatenforschung) gewisse Fachwörter und -kenntnisse voraussetzt und die einzelnen Teile der Publikation viel detaillierter ausgeschrieben werden.

Im Grunde ist der Aufbau allerdings immer gleich:

  • Einleitung: Hintergrundinformationen zum Thema, Herleitung der spezifischen Fragestellung ” Relevanz der Erforschung: Worum geht’s und warum ist das wichtig?
  • Methoden (da haben wir’s schon wieder): Studienobjekte (also die Individuen), Rahmenbedingungen, Definitionen (z.B. von Verhaltensweisen), Durchführung (Versuchsaufbau, Beobachtungsschema, etc.), Kontrollfaktoren (z. B. Rasse, Persönlichkeit), (statistische) Auswertung ” Wie wurde Was gemacht?
  • Ergebnisse: Visualisierung der aufgenommenen Daten, objektive Beschreibung der Messwerte und ihren Beziehungen zueinander, Evaluierung der Muster durch statistische Tests ” Was kam dabei raus?
  • Diskussion: Interpretation der Ergebnisse, Zusammenhänge und Unterschiede zu vorherigen Studien, potenzielle Limitierungen, Offene oder Folge-Fragen ” Einordnung in den Kontext: Inwiefern sind wir jetzt schlauer und was bringt uns dieses Wissen?

Diese Teile werden übrigens nur bei besonderem Interesse gelesen. Am wichtigsten ist der Titel und die Zusammenfassung „Abstract“ der Publikation. Ähnlich wie bei einem Buch: Wenn dir der Titel nicht zusagt, liest du dir den Rückseitentext nicht durch und dieser Text entscheidet dann, ob du das Buch kaufst oder nicht. So funktioniert auch die Auswahl an Publikationen, die die Forschenden lesen (und wieder publizieren). Nachdem der Abstract als interessant befunden wurde, wird noch das Ende der Einleitung (hier steht die Forschungsfrage), der Anfang der Diskussion (eine Zusammenfassung und erste Interpreation der Ergebnisse) und das Ende der Diskussion (Schlussfolgerung) gelesen und die Grafiken (Visualisierung der Ergebnisse) angesehen. Nur bei explizitem Interesse liest man sich auch die Methoden und den Rest durch. … Das ist schade, ja, aber könnt ihr euch vorstellen wie viel Zeit man braucht, um jede Studie im Detail zu lesen?

So, jetzt wissen wir,

-> dass eine wissenschaftliche Studie einer festgelegten Methode folgt

-> dass ein Teil dieser Studien in wissenschaftlichen Publikationen nachzulesen sind.

Wie wertvoll sind Studien und dieses „wissenschaftlich basiert“ denn jetzt?

Das bringt’s
  • Allgemeine Ideen werden belegt (aber nicht widerlegt!)
  • Generelle Aussagen zu spezifischen Rahmenbedingungen werden getroffen
  • Grundlegende Fragestellungen erhalten eine Antwort (hoffentlich)
  • Einflussfaktoren werden erkannt (optimalerweise)
  • Eine Basis für Folgestudien wird geschaffen
  • Die durchgeführte Methode, Auswertung der Ergebnisse und deren Interpretation wurde fachkundig kontrolliert
Das ist kritisch
  • Einzelfälle können abweichen: Wenn man alle aufgenommenen Daten in einem Graph visualisiert, dann kommt optimalerweise eine “Normalverteilung” raus und diese Einzelfälle sind die Datenpunkte, die aus dem Muster fallen.
  • Stichproben können verfälscht sein (z.B. nur eine Rasse wurde untersucht)
  • Fragestellungen sind häufig breit formuliert und Antworten (meist) limitiert
  • Einflussfaktoren sind vielfältig und können nicht alle berücksichtigt werden
  • Ergebnisse sind nicht immer replizierbar
  • Hypothesen werden u.U. als unwahrscheinlich betrachtet, weil zu wenig oder unpassende Daten aufgenommen wurden, nicht alle Einflussfaktoren berücksichtigt wurden, unpassende Vorhersagen getroffen wurden

Wie gehst du mit „wissenschaftlich basiert“ um?

Wenn keine Publikation zu einer „wissenschaftlich basierten“ Aussage zitiert ist, dann bitte den Autor oder die Autorin der Aussage darum, dir eine belegende Studie zu nennen. Das gehört zum „wissenschaftlich basiert“ nämlich dazu: Aussagen, die nicht auf den eigenen Ideen beruhen, MÜSSEN mit einer entsprechenden Referenz zitiert werden. (Du erinnerst dich an die Plagiatsvorwürfe verschiedener Personen des öffentlichen Lebens…)

  1. Wenn du dir die Publikation durchliest, achte darauf welche Methoden angewendet wurden: Anzahl der Tiere, zugrundeliegende Rahmenbedingungen, Kontrolle verschiedener Faktoren, aussagekräftige statistische Tests
  2. Danach kannst du kritisch bewerten, ob die Studie auf deinen Einzelfall zutrifft und kritisch hinterfragen, ob der Zusammenhang und die Interpretation Sinn ergibt. U.a.: Passen die Schlussfolgerungen zu den Ergebnissen? Gibt es Einschränkungen?
  3. Und letztendlich nimmst du die Studie mit ihren Ergebnissen und Interpretationen an, oder verwirfst sie. Du bewertest also objektiv, inwiefern die Studie in deiner spezifischen Trainingssituation mit deinen spezifischen Rahmenbedingungen Anwendung findet.
Und wenn du dazu Fragen hast oder dir unsicher bist, wie du eine bestimmte Studie bewerten sollst, dann melde dich bei mir!
Hier im Blog möchte ich regelmäßig einzelne Studien objektiv zusammenfassen und kritisch hinterfragen. Dafür nehme ich auch sehr gerne Vorschläge entgegen.