Archiv der Kategorie: Philosophy

let’s be honest

Flow Cytometry Basics by Christine Goetz Christopher Hammerbeck Jody Bonnevier, preface

let’s be honest, if you’re just learning something, you don’t know what you don’t know, and it’s hard to ask questions about the things you don’t know

About scientific myths

Natural / The Seductive Myth by Alan Levinovitz, p 18

People
 don’t
 just
 live
 by
 archetypal
 myths—they
 are
 constituted
 by them.
 As 
the 
scholar 
of
 myth 
Bruce 
Lincoln 
has 
argued,
 myth 
is 
ideology 
in narrative
 form.
Want 
to 
know 
what 
someone 
stands 
for? 
Look 
to 
the
 myths that
 shape
 them.
 Group
 identity,
 from
 religion
 to
 politics,
 depends
 on
 an investment
 in
 a
 few
 foundational
 stories,
 which
 serve
 as
 justifications
 of one’s
 preferred
 moral
 and
 social
 order.
 This
 is
 why
 mythically
 justified beliefs
 are
 so
 resistant
 to
 evidence:
 changing
 them
 means
 changing yourself.

This is what I think, when colleagues say, that a paper needs a story.

Sorry for the poor English

From a recent Nature email newletter: There’s more to science than English

The evidence shows that the pressure to write in English is a source of frustration and anxiety for some non-native English speakers, and hinders diversity in science. …. “English-speakers have become the gatekeepers of science, excluding a wide variety of opinions [and] perspectives,” says conservation scientist Tatsuya Amano.

https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0238372

Science PR

Lutz Frühbrodt “- der Begriff Öffentlichkeitsarbeit ist ein typisch deutscher”

Der Begriff Öffentlichkeitsarbeit ist ein typisch deutscher. Er suggeriert, dass Unternehmen gegenüber der Öffentlichkeit eine Arbeit zu leisten hätten, zu deren Bedingungen. Aber, wenn es denn jemals überhaupt so war, dann stimmt das schon längst nicht mehr …Im Verhältnis von Unternehmen zu Journalisten gibt es seit einiger Zeit einen Umschwung von Pull- zu Push-Kommunikation. Anfragen werden immer später bearbeitet, stattdessen versuchen die Unternehmen, selbst Themen zu setzen. Sie betreiben stärker Content Marketing, also “Unternehmensjournalismus”, etwa mit Online-Magazinen und Web-Themenseiten. Es geht darum, in Abwandlung eines Begriffs des marxistischen Philosophen Antonio Gramsci, kommunikative Hegemonie zu erlangen. Themen zu setzen. Sich eigene Kanäle zu schaffen.

Die Entwicklung gibt es im übrigen auch in der Wissenschaft, allenfalls die amerikanischen Hochschulsport Mannschaften fehlen uns noch. Das Geld dafür ist ja schliesslich da und mit der Privatisierung wird das dann auch noch kommen. Zitat SZ

Vom neuen “Hochschulinnovationsgesetz” versprechen sich Staatsregierung wie Hochschulchefs viel: Weniger Bürokratie soll den Unis Freiheit, Flexibilität, Innovation und Schnelligkeit bringen. So sollen sie mithalten mit Harvard oder Cambridge, eigene Talente fördern und Spitzenforscher nach Bayern locken … Der Staat hätte nur die Rechtsaufsicht inne – und eine lange Leine: Die “Gestaltungsorganisation übergeordneter Art” werde das Ministerium behalten, sagte Sibler. Die Zielvereinbarungen des Freistaats mit jeder Hochschule sollen eine “stärkere Ergebnisorientierung” haben. Themen wie Ökologie, Geschlechtergerechtigkeit oder die Pflege kleiner Fächer werden festgelegt. Sind Ziele nicht erfüllt, gibt es weniger Geld.

Wissenschaft zu wenig ergebnisorientiert? Ich kenne niemand den Ergebnisse nicht interessieren würde. Spitzenforscher? Ich kenne Multifunktionäre die große Arbeitsgruppen haben. Aber was ist daran Spitze, wenn “ergebnisorientiert” immer noch mehr Artikel produziert werden?

Lesenswert auch der Twitter Thread in diesem Zusammenhang

Der nächste Tiefpunkt des Wissenschaftsjournalismus

Nach dem Skandal bei der ZEIT versucht sich nun auch der SPIEGEL mit Wissenschaftlermobbing

Was Frau Dipl.biol. Rafaela von Bredow und Frau Dr. med. Veronika Hackenbroch mit solchen Fragen bezwecken wollen? Quotenfrau? Volkshochschule? Quelle BILD?

 

Die Reaktion des amtierenden Leiter Wissenschaft und Technik des SPIEGEL ist genauso respektlos “fragen wird man ja wohl dürfen”.

The Nobel Prize violates a central paradigm of science

With the current hype around prize winners, we may not forget about the much larger number of scientists who have been never honored or even lost their live for doing good science.

The Nobel Prize violates a central paradigm of science that false opinions are always corrected, see also the summary at https://en.wikipedia.org/wiki/Nobel_Prize_controversies.

So this is not so much about the recent scandal around the secretary of the Nobel Committee for Physiology or Medicine, Urban Lendahl, who resigned due to the Macchiarini scandal. Or about the Astra Zeneca money behind the nomination of Harald zur Hausen. I am thinking here about cruel treatments for example

1927 “for the discovery of the therapeutic value of malaria inoculation in the treatment of dementia paralytica” to Julius Wagner-Jauregg

1949 to Portuguese neurologist António Egas Moniz “for the discovery of the therapeutic value of leucotomy (lobotomy) in certain psychoses”.

Book of the Year (2020)

Science Fictions by Stuart Ritchie / Kings College, is the clear winner. From the introduction

As this book will show, though, that system is badly broken. Important knowledge, discovered by scientists but not deemed interesting enough to publish, is being altered or hidden, distorting the scientific record and damaging our medicine, technology, educational interventions and government policies.
Huge resources, poured into science in the expectation of a useful return, are being wasted on research that’s utterly uninformative. Entirely avoidable errors and slip-ups routinely make it past the Maginot Line of peer review. Books, media reports and our heads are being filled with ‘facts’
that 
are 
either 
incorrect, exaggerated, or 
drastically 
misleading. 
And in the very worst cases, particularly where medical science is concerned, people are dying.

I couldn’t praise the book more than other reviewers

“A highly readable and competent description of the problems facing researchers in the 21st century… An excellent primer for anyone who wants to understand why and how science is failing to live up to its ideals.”
–Wired

“Excellent… A fascinating study… Sure, some scientists are corrupt. Some are negligent. Some are biased. But that does not mean we need less science. It means we need better science. That’s why books like this are so important.”
Evening Standard (London)

“We should listen to this warning about how neophilia and hype is ruining research… Ritchie has a gift for turning boring statistical processes into thrilling detective stories.”
The Times (London)

“A desperately important book. Stuart Ritchie’s much-needed work brilliantly exposes the fragility of the science on which lives, livelihoods, and our whole society depend. Required reading for everyone.”
–Adam Rutherford, author of A Brief History of Everyone Who Ever Lived

Amazon has a great review of Serguei Patchkovskii who wrote (full length)

The book offers a rather good catalogue of problems plaguing the scientific enterprise today. Every practicing scientist will recognize much of what Stuart Ritchie is writing about – sometimes in his or her colleagues, and quite frequently in the mirror. The collection of anecdotes on scientific mishaps, missteps, and outright fraud, which one finds in the book, is also rather entertaining and educational.
[… it] mostly ignores the well-fed elephant in the room: the perverse economics of the modern science, and the closely related misuse of the higher-education system. A lot, and in some fields the most, of the grunt work work in science is done by students (graduate and undergraduate) and post-docs. Both groups are routinely underpaid and under-rewarded, under the guise of being trained and educated. Both are also being held in check by the implied promise of the future academic career and well-paying jobs stemming from it – but for the vast majority of them, there will be no academic career, and no stable science job. […]
Worse, some of the proposed solutions would make it significantly harder for an honest scientist – which is really the majority of scientists, perverse incentives notwithstanding – to do their work, while barely inconveniencing a fraudster willing to break the rules if it benefits him.
Overall, I don’t regret paying my money for this book – but just barely.

The first scientific paper ever published

The first scientific paper (as far as we know) can  be retrieved from the excellent website of the Royal Society “Tryals proposed by Mr. Boyle to Dr. Lower, to be made by him, for the improvement of transfusing blood out of one live animal into another”.

This seems basically the same what Corona researchers are trying today with convalescent serum (although this may be dangerous due to rogue auto-antibodies against type I IFNs that may be transfused as well).

 

https://royalsocietypublishing.org/doi/pdf/10.1098/rstl.1665.0147

Science is about asking questions…

https://royalsocietypublishing.org/doi/pdf/10.1098/rstl.1665.0147

Humility

I am surrounded by people who published close to or more than 500 papers, who have a super high Hirsch factor of bigger than 100, who have had third party funding more than 10 mill, who get prices that I have never heard before.

Scientists who spend their life in first class plane seats but not in the lab, who spend their night in expensive hotels while their postdocs do all the work. Scientists at broadcasted talk shows who haven’t read a paper from start to finish for years.

Ritchie “Science Fictions” 2020

In 
fact, 
the 
way 
academic 
research 
is 
currently
 set 
up 
incentivises these
 problems,
 encouraging
 researchers
 to
 obsess
 about
 prestige,
 fame, funding
 and
 reputation
 at
 the
 expense
 of
 rigorous,
 reliable
 results.

For true science the only way is to accept our incapability, our disability and our powerlessness. As @DrTedros said yesterday

Standard is Failure not Success.

Evidenzbasierte Medizin (Teil II)

Nachdem nun schon ein Nachtrag notwendig war um das Versagen von EbM in der Corona Krise zu erklären, hier nun also doch noch ein zweiter Teil mit den offenen Fragen. Gute Wissenschaft stellt Fragen, gibt nicht mal immer Antworten.

Interessantes Google Ergebnis zu EbM 23/12/2020. Als Definition wird der Auszug aus einem BMJ Editorial verwendet… “a dangerous innovation, perpetrated by the arrogant to servecost cutters and suppress clinical freedom”.

Es geht hier, um es nochmal zu sagen, nicht um den allgemeinen Evidenzbegriff (“die unbezweifelbar erkennbare oder unmittelbare mit Wahrheitsanspruch auftretende Einsicht”), sondern um die spezielle Umdefinition bei der individuelle ärztliche Expertise mit externer Wahrscheinlichkeit aus systematischer Forschung kombiniert wird. Es geht EbM dabei allerdings nicht primär um die klinische Expertise, sondern um Recherche in der medizinischen Literatur, der kritischen Bewertung der Validität sowie dem EbM eigenen Klassifikationssystem zur Anwendung im konkreten Fall.

I

EbM individualisiert damit den komplizierten Prozess der Translation von “Bench to Bedside” auf Ebene des Arztes der EbM Kriterien anwendet. Ist das wirklich sinnvoll oder überlässt man Empfehlungen zur Diagnostik und Therapie nicht besser Experten, Lehrbüchern oder Fachgesellschaften?

II

EbM steigt extrem spät in die Translation ein quasi als Trittbrettfahrer vorhandener Studienergebnisse ohne je an der experimentellen oder der klinischen Studienphase beteiligt zu sein. Ist es wirklich sinnvoll, die klinische Anwendung des Wissens so sehr von der Entstehung des Wissens zu trennen?

III

Für wieviel Prozent der klinisch relevanten Fragen es eigentlich randomisierte, doppelblinde Studien? 10%?

IV

Wieviel Medikamente hätte die Medizin eigentlich zur Verfügung wenn nur EbM compliant entwickelt und verordnet worden wäre? 10%

V

Für was will EbM eigentlich in der Corona Pandemie randomisieren? Für Übertragungswege? Genetik? Viruslast? Masken? Abstände?

A cloud hangs over the paper in question

The title is taken from an essay of Dan Bolnick about current PubPeer practices

That said, there is some question about the proper procedure for answering these criticisms. Yes, PubPeer itself leaves room for comments (interestingly, journal editors like myself must pay money to reply to comments, even if to acknowledge them and state we are evaluating the issue). But, this process bypasses the journal that publishes the paper, and bypasses the normal scientific tradition of external review by experts in the field chosen by the journal editor for their knowledge and hopefully objectivity. For this reason, I want to really encourage people with substantial concerns about a paper (e.g., which may appreciably alter the results and conclusions), to submit formal “Comments” (different journals call these different things) to the journal.

I agree, letters or comments would be preferable. In practice, however, comments are largely ignored. I can provide numerous examples where nothing happened.

But, scientific traditions are fluid and we are in an era of increasing speed and openness: Preprint servers, open peer review, open data, et cetera. We therefore also recognize that PubPeer is an active tool in science conversations. The criticisms posted there can be valid identification of genuine problems that need to be evaluated formally and corrected. If valid well-justified and substantial concerns exist and are published on PubPeer, then the affected journal should respond.

Yea, yea. And are there caveats? Bolnick thinks

it is important that these not be used as a mechanism for pursuing personal vendettas. Excessive targeting of an author with multiple minor complaints can constitute a kind of harassment, and may be viewed as such by University Equity officers or equivalent. The anonymous nature of many PubPeer comments makes it easier for impacted authors to feel like (and, argue that) they are the target of personal vendettas and harassment. Second, the existence of PubPeer comments can cast a long shadow over a paper whether the comments are profound or minor. This shadow can affect an author’s career prospects (fellowship applications, job applications, etc) even before the matter is resolved and judged to be valid or not. The result can be inappropriate damage to an innocent authors’ career, which in turn may have grave consequences for mental health. Third, there is an established mechanism for voicing complaints about papers in science: Contact the author to request clarification, or contact the Editor, or submit a Comment.

Well, it depends. What is a minor complaint? One wrong label, two or three? Mixing up figures and data? Nirwana references? Intentional wrong statements? Ignorance of literature? If a comment is profound or minor can be decided by any PubPeer reader. Grave consequences for mental health of a fraudulent or careless author?

I believe that if there would be any working mechanism for voicing complaints about scientific integrity (or just minor corrections), PubPeer would not exist. Kudos Brandon Stell.

 

Evidence Based Medicine, Ioannidis und Covid-19

eine kurze Ergänzung zu „Der Fall Ioannidis“ – Schlamperei beim Gralshüter wissenschaftlicher Qualitätsstandards? im Laborjournal 6.2020 …

Dass John Ioannidis, einer der bekanntesten Systemkritiker der Biomedizin, derart hart am Boden aufschlägt, ist eines der verbüffendsten Phänomene der Corona Pandemie. Ioannidis, einer der am meisten zitierten Mediziner, nun plötzlich die treibendende Kraft hinter der desolaten US Politik, der direkte Gegenspieler von Lipsitch und Fauci, in einem Land, das wegen der ignoranten Politik nun unter 5,7 Millionen Fällen und 176.000 Todesfällen leidet?

Bei aller Sympathie, aber dieser Fenstersturz war eigentlich noch schlimmer als von Dirnagl beschrieben. Tragisch natürlich, nachdem es Dirnagl doch gelang, Ioannidis an das BIH Berlin zu holen. Aber selbst Youtube löschte dann doch das Ioannidis Interview (bei Dailymotion ist es noch verfügbar).

Den Platz in der ersten Reihe der Corona Leugner hatte sich Ioannidids mit falschen Aussagen zur “Princess Diamond” ja auch redlich verdient. Natürlich haben uns damals viele Daten gefehlt (und fehlen uns immer noch dank einer desolaten Forschungspolitik) aber den Lockdown als Atombombe zu bezeichnen? Zum Beweis der These von der Ungefährlichkeit der Virusinfektion mit allenfalls ” 10.000  Toten” kam erst die dubiose Santa Clara Studie, dann die unvollständige Meta-Analyse, bis zu dem bereits erwähnten Paper zum Covid-19 Risiko in einer Untergruppe einer Untergruppe, in der das Verkehrsrisiko zur Arbeit als Vergleich diente. Hat Ioannidis, ungeachtet der methodischen Schwächen seiner Studien, aber vielleicht dennoch recht, fragt nun Dirnagl?

Die Begründung für den Lockdown kam nicht nur aus der mathematischen Modellierung oder ersten Daten der Infektionsepidemiologie – es gab Argumente aus Virologie, Molekularbiologie, Aerosolphysik, Immunologie und Klinik, die alle für drakonische Massnahmen sprachen (Ioannidis ist im übrigen schon beim nächsten Thema, er interessiert sich gerade für die Frage, wie man den Nobelpreis bekommt).  Sicher, man könnte sagen, ein Egomane eben “so attached to being iconoclast that defies conventional wisdom that he’s uninentionally doing horrible science” wie Wired schrieb. Nach den geleakten Emails bei BuzzFeed stimmt es aber wohl nicht, dass Ioannidis immer betont hat, dass die Politik mit den sofortigen drakonischen Abwehrmaßnahmen richtig gehandelt hat. Im Gegenteil, er hat dagegen opponiert, bis es nicht mehr anders ging.

Ich sehe hier auch nicht so sehr die Preprints als Hauptproblem für die aktuelle Misere von EbM (“Evidence Based Medicine”). Die 100 Twitterkommentare eine Stunde nach dem Hochladen des Ioannidies Preprints waren aus epidemiologischer Sicht allemal qualifizierter als es zwei Reviewer jemals hätten sein können. Auch habe ich wenig Angst vor “Research Exceptionalism” –  gute Arbeitsgruppen aus renommierten Institutionen werden genauso gute Preprints wie gute Paper verfassen.

Das Problem scheint mir woanders zu liegen, nämlich wie dogmatisch die EbM-Gemeinde im Fahrwasser von Ioannides reagiert hat. So etwa Antes, in der Badischen Zeitung, Covid-19 sei der “Abschied von der Wissenschaft” und “da will ich Her Drosten widersprechen”. Das deutsche EbM Netzwerk erschöpfte sich in der Wiederholung des Mantras von kontrollierten Studien, etwa “wenig Evidenz, dass NPIs bei Covid-19 tatsächlich zu einer Verringerung der Gesamtmortalität führen” und demonstriert immer wieder ihr Fallschirm Problem. Die Wikipedia schreibt völlig zurecht, dass

bei der Übertragung ins Deutsche [die Gründer] einem falschen Freund erlagen: Während evidence im Englischen je nach Kontext die Bedeutungen ‚Beweis‘, ‚Beleg‘, ‚Hinweis‘ oder ‚Zeugenaussage‘ hat, ist die Bedeutung von Evidenz im Deutschen Offensichtlichkeit (die keines Beweises bedarf) (englisch: obviousness). Deshalb wurde vorgeschlagen, im Deutschen die Bezeichnung “nachweisorientierte Medizin” zu verwenden, was sich jedoch nicht durchgesetzt hat.

Zugegeben, die deutsche Covid-19 Forschung war reichlich kopflos, als würde es keine Epidemiolog:innen in Deutschland geben. Wenn die Politik aber auf das systematische Cochrane Review mit EbM Siegel hätte warten müssen, dann hätten wir Schweden locker zweimal in der Mortalität überholt. Mit “Corona-Virus in unseren Pflegeheimen – ein evidenzfreies Drama in drei Akten” war die Nähe von EbM zu Corona Leugnern wie Wodarg, Bonelli, Bhakdi oder Homburg schon unangenehm. Und sie ist es weiterhin: Erst wurde gegen den Lockdown wegen der Kollateralschäden argumentiert und danach, der Lockdown wäre ja nicht nötig gewesen – ein klassischer Zirkelschluss. Ich erinnere mich auch noch an pseudorationale Ansagen wie “sollte die Ausbreitung tatsächlich nur aufgrund der NPIs zurückgehen, so ist mit einem erneuten Anstieg zu rechnen, sobald diese gelockert werden”. EbM hat – um die Kritik Achensteins aufzugreifen – in der Tat keinen Sinn für den „erklärenden Zusammenhang“.

Ich halte es mittlerweile für ein systembedingtes Versagen von EbM, die Dynamik des Geschehens formal erfassen zu wollen. Covid-19 hat vielen von uns unbarmherzig die Grenze unserer Argumente aufgezeigt. Gerd Gigerenzer unterscheidet “die Welt die stabil ist, wo man einfach die Statistik anwenden kann. Das ist die Welt von berechenbaren Risiken…”. Nur leider, Covid-19 hat sich bisher mehrfach den berechenbaren Risiken entzogen.

Die Kritik an dem anonymen EbM Pamphlet reisst daher nicht ab, so zB Drosten in NDR Podcast 56 und TAZ Interview. Seine Kritik geht zu falschen Zitaten, missverstandenen Ringversuchsdaten und der a posteriori Argumentation (“prevention paradox”) einer Gruppierung die selbst keinen inhaltlichen Beitrag liefert.

Teil II

 

Image modification in scientific publications: 10 rules for acceptable use

I am summarizing here some rules what consists of acceptable image use in scientific publications (Rossner 2004). Pioneers in the field have been the Journal of Cell Biology (J) but also Nature (N) and EMBO Press (E). Here are 10 rules:

  1. Digital images submitted with a manuscript for review should be minimally processed (N).
  2. Specific feature within an image may not be enhanced, obscured, moved, removed, or introduced (J, E). The use of touch-up tools, such as cloning and healing tools, or any feature that deliberately obscures manipulations, is unacceptable (N).
  3. Dividing lines may not be added between juxtaposed images taken from different parts of the same gel or from different gels, fields, or exposures (J, E). If juxtaposing images is essential, the surrounding gel shown at least at the size of the band, borders should be clearly demarcated and described in the legend (N).
  4. Images gathered at different times or from different locations should not be combined into a single image, unless it is stated that the resultant image is a product of time-averaged data or a time-lapse sequence.
  5. Adjustments of brightness, contrast, or color balance that have been applied to the entire image may not enhance, erase, or misrepresent any information present in the original, including the background (J, E).
  6. Images from the same object may not be repeated within the manuscript. Any reuse of images, including control images from earlier papers, should be explicitly stated and justified in the legend (J).
  7. Nonlinear adjustments (e.g., changes to gamma settings) must be disclosed in the figure legend (J). Processing such as changing brightness and contrast is appropriate only when it is applied equally across the entire image and is applied equally to controls. Contrast should not be adjusted so that data disappear (N).
  8. Excessive manipulations, such as processing to emphasize one region in the image at the expense of others, is inappropriate (N).
  9. Deposition of all RAW image files is encouraged (N). An option is figshare.com that is available since 2014.
  10. These are general rules only.  Specific rules exist for electrophoretic blots and microscopy (N).
    Additional points
  11. There should be a better distinction of object and  image, e.g. the re-use of the same object in multiple images should be banned. With any additional image in a paper, this is assumed to be additional and independent evidence of a given fact. Exception of that rule is a clear label (box, arrows, letters) as well as a legend why and from where it has been taken from.
  12. There should be a reference to any work outside of the current paper, if the object and/or image has been used elsewhere.
  13. There is a need for better captions that specify always experimental conditions, object, direction and resolution. Unzoomed controls and reason for the selection of certain object areas along with repeated experiments would be often helpful. What constitutes a representative image?
  14. There is a need of professional integrity officers at universities and research centers.
  15. More attention by publishers is required. The Committee on Publication Ethics (COPE) guidelines include a flowchart on suspected image manipulation.
  16. Accepted standards and current practices need to be continuously revised.

As a further reference see also the Word Press Photo rules.