Science Spam nimmt immer mehr zu. Die Abbildung zeigt eine Spam-Email, die ich letzte Woche bekommen habe. Fake Konferenzen. Predatory Journals. Nonsense Papers. Es wird immer schwieriger, den Überblick zu behalten.
Schauen wir uns also auf Wunsch der Firma Stallergenes einen Artikel an: Allergy 2018 Jan;73(1):165-177. Sublingual immunotherapy provides long-term relief in allergic rhinitis and reduces the risk of asthma: A retrospective, real-world database analysis. Zielen S, Devillier P, Heinrich J, Richter H, Wahn U.
Seit langem versucht die Pharmaindustrie, positive Langzeiteffekte der Immuntherapie nachzuweisen. Immerhin ist der Aufwand hoch, jahrelang eine Therapie durchzuführen. Dabei sollte es auch nicht allzu schwer sein, ein Beobachtungsstudie an eine klinische Studie anzuhängen, es gibt ja genügend Clinical Trials.
Homöopathie wird seit 1805, Allergen-Immuntherapie seit 1911 durchgeführt. Seit 1980 sind die Allergenmischungen standardisiert, es sollte also in den letzten 38 Jahren möglich gewesen sein, Follow-up Studien aufzusetzen. Eine Follow-up Studie sollte auch nicht mit wackligen Symptom-Scores, sondern mit eindeutigen Endpunkten durchgeführt werden, zum Beispiel, ob der Patient 10 Jahre nach Therapie noch Heuschnupfen hat. Sind bei bei Pollenflug die Schleimhäute noch entzündet? Es gibt genügend Pollenfallen und auch genügend HNO Ärzte, die in die Nase schauen können. Da der Patient aber nach Abschluss eines Clinical Trials gewöhnlich informiert wird, welche Behandlung er hatte, müsste auch eine nicht behandelte Gruppe mitlaufen. Und das ganze Projekt sollte pharma-unabhängig sein, jedenfalls in der Theorie.
In der Praxis findet man dann aber dubiose Auswertungen wie in dem neuen “Allergy” Artikel. Er ist mit “real world” überschrieben, um Zweifel zu zerstreuen, den es erstmal gar nicht gibt.
Aber raten wir, wer den Artikel konzipiert, die Daten ausgewertet und den Text geschrieben hat. Das ist meist wichtiger, als was danach kommt. Laut Impressum waren alle Autoren an der Studie beteiligt. Von ihrem bisherigen CV schliesse ich allerdings Erst-, Zweit- und Letztautor davon eher aus. Man braucht ja etwas methodischen Background oder auch Programmierkenntnisse für so eine Auswertung. Bleiben Dritt- und Viertautor übrig. Da der Viertautor laut Postskript den Drittautor bezahlt hat und zudem die Korrespondenzaddresse stellt, ist er wohl der alleinige Urheber. Die Quintiles IMS GmbH & Co. oHG aus Frankfurt am Main, vermarktet sich im Internet. Zitat
QuintilesIMS (NYSE: Q) ist ein führender internationaler Anbieter von integrierten Informations- und Technologielösungen, der Kunden im Gesundheitsbereich dabei unterstützt, ihre klinischen, wissenschaftlichen und wirtschaftlichen Ergebnisse zu verbessern.
Wissenschaftliche Ergebnisse verbessern? Das hört sich nicht gut an. Unter “Copyediting” ganz am Ende des Artikels wird noch eine weitere Firma (Biotech Communications SARL) genannt, die vermutlich den eigentlichen Autor gestellt hat, wer weiss.
Aber nun zum Artikel. Das Zitat für die angeblichen Langzeit-Effekte ist die Nr 17, ein Selbstzitat zu einem weiteren industrie-gesponsorten Artikel. Dieses Review schickt einem dann weiter zu Nr 20 (einem Positionspapier), Nr 21 (einem weiteren Konsensus Report) und Nr 22 (einer uralt Arbeit aus 1997 mit 22 Kindern). Für irgendwelche Langzeiteffekt müsste man also weiter suchen.
Zurück zu den Daten der aktuellen Studie. Sie kommen aus einer Verordnungsdatenbank der gesetzlichen Krankenkassen in Deutschland. Diese nicht öffentliche Datenbank enthält selbst keine Diagnosen, sondern nur Medikamentenverordnungen. Das ist schon das erste größere Problem – Diagnosen werden in dieser Studie nur aus Verordnungen vermutet. Bei Krankheiten mit hoher Dunkelziffer wie Asthma und Heuschnupfen ist das aber schwierig, Epidemiologen können ein Lied davon singen.
Dann betrifft diese Datenbank auch nur 90% der Bevölkerung. Mitglieder der privaten Krankenkasse sind ausgeklammert. Ebenso werden alle OTC (= over the counter) Medikationen weggelassen, was bei der häufigen Selbstmedikation zudem problematisch ist. Die Meldung an die Datenbank ist dazu auch nicht sonderlich hoch mit nur 60% Erfassung in manchen Regionen. Die Datenbasis ist also nur bregrenzt repräsentativ und lässt allenfalls indirekte Schlüsse auf Diagnosen zu.
Die Datenqualität ist zudem schlecht, wenn von 15.552.000 Datensätzen bei 15.405.000 das Datum fehlt. Bei den verbliebenen Datensätzen fehlt in 10% das Alter oder ist fehlerhaft. In 27% fehlt das Geschlecht. Die Datenqualität ist also ungenügend.
In 50% wurde die Immuntherapie nur über eine Saison durchgeführt. Die Gründe wissen wir nicht, etwa weil die Therapie nicht funktioniert hat? Oder waren es inakzeptable Nebenwirkungen? Diese Patienten wurden jedenfalls von der Auswertung ausgeschlossen, kein Wunder dass man positive Ergebnisse für eine Therapie bekommt, wenn man die Therapieversager und Therapieverweigerer ausschliesst. Genau das würde ich machen, wenn ich ein Ergebnis tricksen will.
Vom Studiendesign hätte ich eigentlich auch erwartet, dass erst mal alle Fälle definiert werden und dann solche mit Therapie solchen ohne Therapie nach Schweregrad und Verschreiber gematcht gegenüber gestellt werden.
In der Studie werden aber Fälle aufgrund der Behandlung und nicht auf Grund der “Diagnose” ausgewählt. Wer wohl von den Ärzten für die Therapie ausgewählt wurde? Wieder können wir nur raten – ich vermute, es waren weniger die schweren Fälle, da die alternative Therapie mit Spritzen doch viel mehr verbreitet ist.
Als Kontrolle gegenüber gestellt werden Probanden mit mindest einer Verschreibung der Klasse ATC R01 (Rhinologika Nasenmittel) Untergruppe A1 (Kortisonhaltig ). Jetzt können wir auch nur raten, ob das mit Kortison eher die schweren Heuschnupfenfälle sind? Ich vermute die schwereren Fälle.
Richtig geraten. Nach Tabelle 1 stehen 3.65 Verordnungen in der Kontrollgruppe im Vorjahr gegen 2.01 Verordnungen in der Therapiegruppe. Und maximal 19 Verordnungen gegen maximal 73 Verordnungen, ist ja wohl auch eine klare Aussage. Der Therapiegruppe ging es also deutlich besser, sie hat nur etwas über halb so viele Verordnungen im Vorjahr! Damit haben wir nun auch die zweite Verzerrung identifiziert: die Therapiegruppe hat die leichteren Fälle mit der besseren Prognose und die Kontrollgruppe die schwereren Fälle mit der schlechteren Prognose.
Zusammengefasst haben wir also nicht repräsentative, lückenhafte Daten und eine Gruppenbildung die mehrfach zu Gunsten eines bestimmten Ergebnisses manipuliert wurde.
Dass die Prozentzahlen in Tabelle 1 nicht ganz stimmen, geschenkt. Aber dass nach Fig. 1 alle Asthmatiker ausgeschlossen wurden und dann doch noch 21% in Tabelle 1 Asthma haben, geschenkt. Der Unsinn, den Intercept als Odds Ratio anzugeben, geschenkt. Die odds ratio auf 3 Stellen hinter dem Komma anzugeben, geschenkt. Oder “unknown” als Referenzkategorie, geschenkt. Den P-Wert nicht exakt, sondern mit <0.001 anzugeben, geschenkt. Auch dass die Unterschiede zwischen Oralair(R) / Stallergenes und Grazax (R) /ALK verschwiegen werden, geschenkt.
Um eine Studie gekonnt zu faken, hätte man sich mehr anstrengen müssen.