Wie Aussagekräftig sind solche Studien? (Corona)

neo_fisch, Dortmund, Freitag, 18.06.2021, 12:39 (vor 1045 Tagen) @ majae

Ich habe die Studie nicht gelesen

[...]

Für mich sind solche Studien höchst unseriös, wenn Sie mir vermitteln wollen, das der Effekt nicht 20 sondern genau 41% sind.

Das ist als würde ich die Kicker-Notenvergabe kritisieren, ohne das Spiel überhaupt gesehen zu haben. Die Studie ist im Preprint frei einsehbar. Ich kann verstehen, dass es für ungeübte sehr schwierig ist, englische Paper zu lesen. Einen Versuch kann man trotzdem unternehmen. Dann sieht man nämlich, dass die Studie keineswegs sagt, dass es genau 41% sind, sondern sehr wahrscheinlich irgendwas zwischen 24,7% und 53,4%, mit 42,1% als wahrscheinlichste Zahl. Natürlich ist das alles mit Vorsicht zu genießen, wir haben ja gerade mal einen vollen Jahreszyklus hinter uns mit, wie du schon sagtest, ständig ändernden Parametern. Allerdings hat man über 143 Regionen Europas gemittelt und vergleicht berechnete Einflüsse verschiedener Massnahmen aus anderen Veröffentlichungen (die in Science publiziert wurde, also wo man erst einmal von hoher Glaubwürdigkeit ausgehen kann).

Der "unseriösitäts"-Effekt tritt aber insbesondere auf, da viele Experten die eine Zahl per Twitter Headline raushauen. Natürlich können die Studien nicht die exakte Zahl ermitteln, die geben Konfidenzintervalle an, innerhalb derer der berechnete (!) (ungleich der reale, Modelle abstrahieren IMMER) Effekt liegt und wo der im mittel am wahrscheinlichsten zu vermutende Wert liegt.
Die meisten Tweets (auch die von K. Lauterbach) übermitteln nicht einmal den Wertebereich des Effekts, der durch ein Modell berechnet wird.

Übrigens wird gerade durch die mittlung quer durch Europa (ein bisschen wie bei Äpfel und Birnen) viel Einflussfaktor "weg" gemittelt.
Bei der Oxford-Studie zum Effekt z.B. der nächtlichen Ausgangssperren ist z.B. auch Lauterbach hergegangen und hat getwittert, dass die Maßnahmen zu 21%(oder so ähnlich) wirken.
Er hat nicht das Intervall angegeben (das lag bei 3% bis ca21%), und selbst die Studienautoren haben gesagt, dass die ermittelten Werte nicht auf einzelne Länder anwendbar seien, da die Bedingungen sich pro Land unterscheiden (z.B. start der sperre ab 20/22/24 Uhr).
Das macht diese Studien nicht obsolet - aber die Ergebnisse sind immer unter den beschriebenen Randbedingungen zu Werten - und das tun auch erfahrene Profis wie Lauterbach nicht hinreichend.

Edit: Wenn man dann noch bedenkt, dass K. Lauterbach die Studie teilt, kann man davon ausgehen, dass er sich damit tiefergehend beschäftigt hat. Soweit ich weiß, ließt er die ganze Nacht irgendwelche Paper und kann die als relevanter Wissenschaftler vermutlich auch besser bewerten, als jeder andere hier.

Hiermit tue ich mich wirklich schwer. Nur weil er etwas teilt, ist es nicht automatisch richtig. Er ist Epidemiologe, keine ausgewiesener Statistiker. Und auch er korrigiert sich ja hin und wieder...