Tag Archives: EBM

There is no average patient

I am collecting material for an article questioning EBM (evidence based medicine) while coming across an interesting preprint by Zach Shahn “Trust me, I’m a doctor”.

Suppose that outcomes under usual care, e.g., collected from hospital health records, outperform the outcomes in both arms of a randomized experiment conducted in the same population. A textbook example concerning lung cancer patients comes from Hernan and Robins [2024], see also Sarvet and Stensrud [2025]. Then, Deaton and Cartwright’s argument that one should trust their physician over a trial is validated. In this case, a next step is to find the criteria that physicians are using to make personalized decisions.

He continues to examine study settings in which a randomized trial is nested within an observational cohort, so that outcomes are observed under treatment, control, and usual care while I am following up here his reference to Sarveed & Stensrud  Unfortunately the abstract of this paper is poor – it should have explained the two definitions of “harm” in personalized medicine. So I try it on my own.

Counterfactual harm – a patient is harmed if they received a treatment whose outcome is worse than what would have happened under the alternative – requires knowing unobservable potential outcomes / principal strata. The interventionist harm (the authors’ preference): a patient is harmed if their expected outcome under the assigned treatment is worse than under the alternative, conditional on their measured features which requires only experimentally identifiable quantities. The counterfactual approach is practically problematic because principal strata are metaphysical objects that can never be verified, require non-experimental data and partial identification. The interventionist approach is transparent, observable, and doesn’t coerce commitment to unverifiable metaphysics.

The paper does not explain how to do this in practice – I think this could be just a well-designed RCT with pre-specified effect modification analysis. The workflow would be; pre-register → stratified randomization → interaction-term analysis or causal forest → decision rule by argmax of expected outcome. You never need to ask “what would have happened to this patient under the other treatment” — you only ask “what does the evidence say about patients like this one.”

 

 

CC-BY-NC Science Surf , accessed 10.05.2026

Cochrane: Aprilscherz ja oder nein?

Cochrane Zentrum für Yoga, Akupunktur, Heilpflanzen, Homöpathie, Bioresonanz

War das ein Aprilscherz? Nein, offensichtlich nicht, obwohl am 1.4. veröffentlicht.

Aber gibt es ja auch in Berlin so ein dubioses “Forschungszentrum” am Institut für Sozialmedizin, Epidemiologie und Gesundheitsökonomie der Charité.

Und Cochrane: Waren das nicht die EBM Evidenzfetischisten  die sowohl gegen Testen und  Masken waren und die gerade pleite sind trotz Alimente?

 

CC-BY-NC Science Surf , accessed 10.05.2026

COVID-19 Mortalität VI: Was hat sich an der S3 Leitlinie geändert?

Leider ist fast nichts von meiner früheren Kritik an der S2 Leitlinie in die Änderung eingegangen.

Textunterschiede sind auf https://draftable.com/compare/hYlCJnJHcxXm und Literaturunterschiede auf https://draftable.com/compare/PridZkDctdoA zu sehen. Zitat aus der revidierten Leitlinie

Daten aus Vorteilen bzw Risiken einer invasiven Beatmung versus einer möglichst ausgedehnten NIV- Therapie bei COVID-19 Patienten fehlen bisher. Bisher publizierte kleinere Kohortenstudien wiesen in Bezug auf die berichteten Endpunkte ein hohes Risiko für Bias auf. Außerdem muss die Evidenz als indirekt bewertet werden, weil keine RCTs mit definierter Interventions- und Kontrollgruppe eingeschlossen werden konnten, sondern bei klinischer Verschlechterung von einem hohen Cross-over vom NIV- in den IMV-Arm ausgegangen werden muss. Aus der systematischen Recherche wurden für diese Leitlinie retrospektive Studien aus dem Review von Schünemann et al., sowie den nachfolgenden Updates einbezogen, deren Aussagesicherheit zum Vergleich NIV – Invasive Beatmung sehr schwach ist (74, 75). Zusätzlich haben die Autoren neuere und größere Fallserien berücksichtigt (76-85) die allerdings die Aussagesicherheit der Evidenz nicht ändern, jedoch die Vergrößerung des Erfahrungswissens deutlich machen.

Der Hauptautor der Leitlinie verschweigt seine eigenen, eigentlich katastrophal schlechten Ergebnisse (https://www.australiancriticalcare.com/article/S1036-7314(20)30334-9/fulltext) und unterschlägt zudem kritische Meinungen, etwa von Tobin im ERJ (dort auch noch weitere Studien, die alle keinen Eingang in die Leitlinie gefunden haben).

Es sterben doppelt so viele Patienten an COVID-19 in Hamburg als in München. Wir wissen auch warum (“Erfahrungswissen”) “Absence of evidence is not evidence of absence“. Ist denn dieser Satz so schwierig zu verstehen?

Kaum zu glauben: Die Autoren der Leitlinie haben im letzten Jahr trotz Millionenförderung sowohl eine DIVI Registerstudie als auch ein neues RCT zur NIV abgelehnt und beklagen jetzt ernsthaft, dass es kein RCT gibt.

EbM hat mittlerweile religiös-sektiererische Züge angenommen, ganz offen an dem ebm Netzwerk zu sehen.  Leider hat nun auch die AWMF ein grösseres Problem.

 

CC-BY-NC Science Surf , accessed 10.05.2026

Evidenzbasierte Medizin (Teil II)

Um das Versagen von EbM in der Corona Krise zu erklären, hier nun doch noch ein zweiter Teil mit den offenen Fragen zumal der erste Teil schon fast tausendmal geklickt wurde.

Gute Wissenschaft stellt Fragen, gibt aber nicht immer Antworten.

Interessantes Google Ergebnis zu EbM 23/12/2020. Als Definition wird der Auszug aus einem BMJ Editorial verwendet… “a dangerous innovation, perpetrated by the arrogant to servecost cutters and suppress clinical freedom”.

Es geht hier, um es nochmal zu sagen, nicht um den allgemeinen Evidenzbegriff (“die unbezweifelbar erkennbare oder unmittelbare mit Wahrheitsanspruch auftretende Einsicht”), sondern um die spezielle Umdefinition bei der individuelle ärztliche Expertise mit externer Wahrscheinlichkeit aus systematischer Forschung kombiniert wird. Es geht EbM dabei allerdings nicht primär um die klinische Expertise, sondern um Recherche in der medizinischen Literatur, der kritischen Bewertung der Validität sowie dem EbM eigenen Klassifikationssystem zur Anwendung im konkreten Fall.

I

EbM individualisiert damit den komplizierten Prozess der Translation von “Bench to Bedside” auf Ebene des Arztes der EbM Kriterien anwendet. Ist das wirklich sinnvoll oder überlässt man Empfehlungen zur Diagnostik und Therapie nicht besser Experten, Lehrbüchern oder Fachgesellschaften?

II

EbM steigt extrem spät in die Translation ein – quasi als Trittbrettfahrer vorhandener Studienergebnisse ohne je an der experimentellen oder der klinischen Studienphase beteiligt zu sein. Ist es wirklich sinnvoll, die klinische Anwendung des Wissens so sehr von der Entstehung des Wissens zu trennen?

III

Für wieviel Prozent der klinisch relevanten Fragen es eigentlich randomisierte, doppelblinde Studien? 10%?

IV

Wieviel Medikamente hätte die Medizin eigentlich zur Verfügung wenn nur EbM compliant entwickelt und verordnet worden wäre? 10%

V

Für was will EbM eigentlich in der Corona Pandemie randomisieren? Für Übertragungswege? Genetik? Viruslast? Masken? Abstände?

VI

Ich hoffe, die EbM Community sortiert sich in den nächsten Jahren neu und kommuniziert die Grenzen ihrer Methode.

 

CC-BY-NC Science Surf , accessed 10.05.2026

Evidence Based Medicine, Ioannidis und Covid-19

eine kurze Ergänzung zu „Der Fall Ioannidis“ – Schlamperei beim Gralshüter wissenschaftlicher Qualitätsstandards? im Laborjournal 6.2020 …

Dass John Ioannidis, einer der bekanntesten Systemkritiker der Biomedizin, derart hart am Boden aufschlägt, ist eines der verbüffendsten Phänomene der Corona Pandemie. Ioannidis, einer der am meisten zitierten Mediziner, nun plötzlich die treibendende Kraft hinter der desolaten US Politik, der direkte Gegenspieler von Lipsitch und Fauci, in einem Land, das wegen der ignoranten Politik nun unter 5,7 Millionen Fällen und 176.000 Todesfällen leidet?

Bei aller Sympathie, aber dieser Fenstersturz war eigentlich noch schlimmer als von Dirnagl beschrieben. Tragisch natürlich, nachdem es Dirnagl doch gelang, Ioannidis an das BIH Berlin zu holen. Aber selbst Youtube löschte dann doch das Ioannidis Interview (bei Dailymotion ist es noch verfügbar).

Den Platz in der ersten Reihe der Corona Leugner hatte sich Ioannidids mit dubiosen Aussagen zur “Princess Diamond” ja umgehend gesichert. Natürlich haben uns damals viele Daten gefehlt (und fehlen uns immer noch dank einer desolaten Forschungspolitik) aber den Lockdown als Atombombe zu bezeichnen? Zum Beweis der These von der Ungefährlichkeit der Virusinfektion mit allenfalls ” 10.000  Toten” kam erst die dubiose Santa Clara Studie, dann eine unvollständige Meta-Analyse, bis zu dem bereits erwähnten Paper zum Covid-19 Risiko in dem in einer   Untergruppe einer Untergruppe das Verkehrsrisiko als Vergleich diente. Hat Ioannidis, ungeachtet der methodischen Schwächen seiner Studien, aber vielleicht dennoch recht, fragt nun Dirnagl?

Die Begründung für den ersten Lockdown kam nicht allein aus der mathematischen Modellierung oder den ersten Daten aus der Infektionsepidemiologie – es gab Argumente aus Virologie, Molekularbiologie, Aerosolphysik, Immunologie und Klinik, die alle für drakonische Massnahmen sprachen (Ioannidis ist im übrigen schon beim nächsten Thema, er interessiert sich gerade für die Frage, wie man den Nobelpreis bekommt).  Sicher, man könnte sagen, ein Egomane eben “so attached to being iconoclast that defies conventional wisdom that he’s uninentionally doing horrible science” wie Wired schrieb. Nach den geleakten Emails bei BuzzFeed stimmt es aber wohl doch nicht, was Ioannidis immer betont hat — dass nämlich die Politik mit den sofortigen drakonischen Abwehrmaßnahmen richtig gehandelt hat. Im Gegenteil, er hat dagegen opponiert, bis es nicht mehr anders ging.

Ich sehe hier auch nicht so sehr die Preprints als Hauptproblem für die aktuelle Misere von EbM (“Evidence Based Medicine”). Die 100 Twitterkommentare eine Stunde nach dem Hochladen des Ioannidies Preprints waren aus epidemiologischer Sicht allemal qualifizierter als es zwei Reviewer jemals hätten sein können. Auch habe ich wenig Angst vor “Research Exceptionalism” –  gute Arbeitsgruppen aus renommierten Institutionen werden genauso gute Preprints wie gute Paper verfassen.

Das Problem scheint mir woanders zu liegen, nämlich wie dogmatisch die EbM-Gemeinde im Fahrwasser von Ioannides reagierte. So etwa Antes, den ich auch sehr schätze, der aber in der Badischen Zeitung meinte, Covid-19 sei der “Abschied von der Wissenschaft” und “da will ich Herrn Drosten widersprechen”. Das deutsche EbM Netzwerk erschöpfte sich in der Wiederholung des Mantras von kontrollierten Studien, etwa “wenig Evidenz, dass NPIs bei Covid-19 tatsächlich zu einer Verringerung der Gesamtmortalität führen” und demonstriert damit tragikomisch ihr Fallschirm Problem. Die Wikipedia schreibt völlig zurecht, dass

bei der Übertragung ins Deutsche [die Gründer] einem falschen Freund erlagen: Während evidence im Englischen je nach Kontext die Bedeutungen ‚Beweis‘, ‚Beleg‘, ‚Hinweis‘ oder ‚Zeugenaussage‘ hat, ist die Bedeutung von Evidenz im Deutschen Offensichtlichkeit (die keines Beweises bedarf) (englisch: obviousness). Deshalb wurde vorgeschlagen, im Deutschen die Bezeichnung “nachweisorientierte Medizin” zu verwenden, was sich jedoch nicht durchgesetzt hat.

Zugegeben, die deutsche Covid-19 Forschung war reichlich kopflos, als würde es keine Epidemiolog:innen in Deutschland geben. Wenn die Politik aber auf das systematische Cochrane Review mit EbM Siegel hätte warten müssen, dann hätten wir Schweden locker zweimal in der Mortalität überholt. Mit Artikeln wie “Corona-Virus in unseren Pflegeheimen – ein evidenzfreies Drama in drei Akten” war die Nähe von EbM zu Corona Leugnern wie Wodarg, Bonelli, Bhakdi oder Homburg schon sehr unangenehm. Und sie ist es weiterhin: Erst wurde gegen den Lockdown wegen der Kollateralschäden argumentiert und danach, dass der Lockdown ja nicht nötig gewesen – ein klassischer Zirkelschluss. Ich erinnere mich auch noch an solche pseudorationale Ansagen wie “sollte die Ausbreitung tatsächlich nur aufgrund der NPIs zurückgehen, so ist mit einem erneuten Anstieg zu rechnen, sobald diese gelockert werden”. EbM hat – um die Kritik Achensteins aufzugreifen – in der Tat keinen Sinn für den „erklärenden Zusammenhang“ und ist erstarrt in formalen Regeln.

Ich halte es mittlerweile für ein systembedingtes Versagen von EbM, die Dynamik des Geschehens formal erfassen zu wollen. Covid-19 hat vielen von uns unbarmherzig die Grenze unserer Argumente aufgezeigt. Gerd Gigerenzer unterscheidet “die Welt die stabil ist, wo man einfach die Statistik anwenden kann. Das ist die Welt von berechenbaren Risiken…”. Nur leider, Covid-19 hat sich bisher mehrfach den berechenbaren Risiken entzogen.

Die Kritik an dem anonymen EbM Pamphlet reisst daher nicht ab, so zB Drosten in NDR Podcast 56 und TAZ Interview. Seine Kritik geht zu falschen Zitaten, missverstandenen Ringversuchsdaten und der a posteriori Argumentation (“prevention paradox”) einer Gruppierung die selbst keinen inhaltlichen Beitrag liefert.

Teil II

 

CC-BY-NC Science Surf , accessed 10.05.2026