Category Archives: Philosophy

Language models need to be regulated

Shobita Parthasarathy in a recent interview

I had originally thought that LLMs could have democratizing and empowering impacts. When it comes to science, they could empower people to quickly pull insights out of information: by querying disease symptoms, for example, or generating summaries of technical topics.
But the algorithmic summaries could make errors, include outdated information or remove nuance and uncertainty, without users appreciating this. If anyone can use LLMs to make complex research comprehensible, but they risk getting a simplified, idealized view of science that’s at odds with the messy reality, that could threaten professionalism and authority.

Teresa Kubacka

So ziemlich alles, was beim Verfassen eines wissenschaftlichen Textes nicht schief l�aufen sollte [ist hier passiert]:
Die Künstliche Intelligenz (KI) kann wissenschaftliche Quellenangaben nahezu perfekt fälschen.
Und zwar so geschickt, dass selbst Fachleute auf dem entsprechenden Gebiet Mühe bekunden, die entsprechenden Falschinformationen als solche zu erkennen.
Die als «Datenhalluzinationen» bezeichneten Kreationen der KI können auch, aber nicht nur, auf die vom Menschen gestellten Fragen zurückgeführt werden.

Systemic science flaw

Bruce Alberts, one of the most reputable living scientist, already back in a 2014 PNAS paper

The long-held but erroneous assumption of never-ending rapid growth in biomedical science has created an unsustainable hypercompetitive system that is discouraging even the most outstanding prospective students from entering our profession—and making it difficult for seasoned investigators to produce their best work…

The great majority of biomedical research is conducted by aspiring trainees: by graduate students and postdoctoral fellows. As a result, most successful biomedical scientists train far more scientists than are needed to replace him- or herself…

Competition in pursuit of experimental objectives has always been a part of the scientific enterprise, and it can have positive effects. However, hypercompetition for the resources and positions that are required to conduct science suppresses the creativity, cooperation, risk-taking, and original thinking required to make fundamental discoveries…

The inflated value given to publishing in a small number of so-called “high impact” journals has put pressure on authors to rush into print, cut corners, exaggerate their findings, and overstate the significance of their work.

there is nothing to add.

No more disruptive science?

Nature yesterday reporting a new paper by Russell Funk on research innovation or “disruptiveness”

The number of science and technology research papers published has skyrocketed over the past few decades — but the ‘disruptiveness’ of those papers has dropped, according to an analysis of how radically papers depart from the previous literature.
Data from millions of manuscripts show that, compared with the mid-twentieth century, research done in the 2000s was much more likely to incrementally push science forward than to veer off in a new direction and render previous work obsolete. Analysis of patents from 1976 to 2010 showed the same trend.

So has (A) everything already discovered by low hanging fruits A? Are scientists nor more taking any risk (B)? Or is the “disruptive” science now hidden in the meaningless research (C)? OR did only change citation practices (D)? The answer is in the original paper

Specifically, despite large increases in scientific productivity, the number of papers and patents with CD5 values in the far right tail of the distribution remains nearly constant over time. This ‘conservation’ of the absolute number of highly disruptive papers and patents holds despite considerable churn in the underlying fields responsible for producing those works… These results suggest that the persistence of major breakthroughs—for example, measurement of gravity waves and COVID-19 vaccines—is not inconsistent with slowing innovative activity. In short, declining aggregate disruptiveness does not preclude individual highly disruptive works.

In my own words: Progress is found in the top percentiles just as many decades before. But most research publications are a waste of money and  even harmful for cluttering up the research field.

There seem to be also some critical comments and of course some methodological issues need to be clarified for any interpretation (eg exclusion of reviews, validity of the 5 year interval, …). In any case, the authors promised to give me the CD5 dataset which will be nice to look up my own work.

Es ist ein ethisches, nicht ein mathematisches Problem

Ein hervorragender Insider Kommentar zu Gebru und Mitchell, der Frau die von Google wegen ihres AI Papers gefeuert wurde.

https://twitter.com/mmitchell_ai/status/1362885356127801345

Michaela Menken schreibt dazu

Bias in/bias out. Sprich, die gelernten Modelle verstärken die Positionen und Stimmen, die in den Trainingsdaten am meisten vertreten sind. Und das sind selten die Positionen und Stimmen von Minderheiten …

Reporting Bias … implizite, ontologische Kenntnis der Welt steht der KI nicht vollumfänglich zur Verfügung…

Selection Bias also … die durch die Auswahl der Daten entstehen können…

Confirmation Bias …  ob der Output für qualitativ gut oder schlecht gehalten wird, korrespondiert natürlich mit dem Weltbild und den Erwartungen desjenigen, der die Überprüfung durchführt.

Automation Bias. Menschen neigen dazu, Ergebnisse, die algorithmisch herbeigeführt wurden, schneller und leichter anzunehmen

Es sind also massive ethische Probleme, die mit dem Einzug der KI entstehen. Nicht umsonst wurde in Augsburg im letzten Jahr ein “Center for Responsible AI Technologies” gegründet.  Dazu wurden 100 neue Lehrstühle geschaffen, selbst der bayrische Ethikrat hat sich vor 2 Wochen einschlägig wenn auch wenig konkret dazu geäussert.

No big impact but recognition

As a part time ethicist I am quite happy if an earlier article gets some recognition. Recognition is something different to the craziness of summing up impact factors, it is some kind of payback by longterm influence.

https://bmcmedethics.biomedcentral.com/articles/10.1186/1472-6939-11-21/metrics

Wissenschaftspolitik ist Politik, nicht Wissenschaft

Ein schon älterer Essay in “Forschung und Lehre” von Thomas Naumann zeigt einige Grundsätze der Wahrheitsfindung in der Wissenschaft

Ziel der Naturwissenschaften ist es, die uns umgebende Welt zu erkennen. Das heißt, Aussagen über die Wirklichkeit zu gewinnen und sie in Form von Beobachtungen und Gesetzen abzubilden. Diese Aussagen und Abbildungen bezeichnen wir als wahr, wenn sie mit der widergespiegelten Realität übereinstimmen.

Die Aussage, so Naumann, bleibt aber subjektiv und ist nicht deckungsgleich mit der objektiven materiellen Realität. Im Experiment wird die wissenschaftliche Wahrheitsaussage sprich Hypothese immer wieder überprüft. Wo dies nicht möglich ist, wird wenigsten versucht, die Beobachtung zu verifizieren (die aktuelle Replikationskrise ist deshalb auch eine Krise der Wissenschaft) wobei  Hilfskriterien wie Logik und Widerspruchsfreiheit helfen können genauso wie Vorhersagen, die dann eintreffen oder auch nicht.  Doch zurück zur Wahrheitsfindung bei Karl Marx, wieder nach Naumann zitiert

“Die Frage, ob dem menschlichen Denken gegenständliche Wahrheit zukomme – ist keine Frage der Theorie, sondern eine praktische Frage. In der Praxis muss der Mensch die Wahrheit … seines Denkens beweisen.” Auch Max Born, einer der Begründer der Quantentheorie, riet zu Realismus: “My ad­vice is not to rely on abstract reason, but to decipher the secret language of Nature from Nature’s documents, the facts of experience”.

Wissenschaftler sind damit der unbedingten Ehrlichkeit und Wahrhaftigkeit verpflichtet.

Die primäre Anforderung an Politiker ist eine andere, sie sollen mit sozial verantwortlichen Entscheidungen gesellschaftliche Probleme lösen , Fortschritt ermöglichen und wo immer möglich, Krisen verhindern. “Ehrlich wärt am längsten” gilt auch hier, obwohl man Politiker im allgemeinen zugesteht, ihre Ziele nicht auf direktem Weg zu erreichen. Ihre Ziele sollten aber doch mehr am Allgemeinwohl als an ihrem privaten Nutzen orientiert sein, ansonsten wird er abgewählt.  Die Washington Post hat im übrigen über 30.000 Lügen von Donald Trump gezählt.

Hannah Arendt hat 1963 einen schönen  Aufsatz geschrieben “Wahrheit und Politik

Der Gegenstand dieser Überlegungen ist ein Gemeinplatz. Niemand hat je bezweifelt, daß es um die Wahrheit in der Politik schlecht bestellt ist, niemand hat je die Wahrhaftigkeit zu den politischen Tugenden gerechnet. Lügen scheint zum Handwerk nicht nur der Demagogen, sondern auch des Politikers und sogar des Staatsmannes zu gehören.

Seit eh und je haben die Wahrheitssucher und die Wahrheitssager um das Risiko ihrer Unternehmung gewußt… Wiewohl es im Politischen zumeist die Tatsachenwahrheiten sind, die auf dem Spiel stehen, ist der Konflikt zwischen Wahrheit und Politik zuerst an der Vernunftwahrheit ausgebrochen und entdeckt worden. In den Wissenschaften ist das Gegenteil der Wahrheit der Irrtum oder die Unwissenheit.

Modern würde man also sagen – Politik und Wissenschaft ist ein Clash of Cultures.  Wissenschaftspolitik ist eindeutig dem politischen und nicht dem wissenschaftlichen Lager zuzuordnen – es geht primär um Finanzierung von Hochschulen und Forschungseinrichtungen in einem undurchsichtigen Mix aus Prioritätensetzung, Bildungsauftrag, technische Weiterentwicklung und Folgenabschätzung, Wirtschaftsförderung verbunden mit dem massiven Eingriffen in die eigentlich garantierte  Wissenschaftsfreiheit.

Interessant wird das Thema vor allem dann, wenn Wissenschaftler in die Wissenschaftspolitik oder sagen wir mehr allgemein, den politischen Apparat wechseln. Waren sie vorher schon verkappte Politiker? Oder gibt es da eine Phase der Adaptation und Neuorientierung die nun Lüge erlaubt? Das ist eine, wie ich finde, neue und interessante wissenschaftliche Fragestellung für Wissenschaftssoziologen. Schade, ich hätte zu gerne hier Latour befragt. In den Zettelkästen Luhmanns habe ich nur einen passenden Zettel zu dem Thema gefunden “Politik als Wissenschaft kann es nicht geben”…

Nochmal Arendt a.o.O.

Der Streit zwischen Wahrheit und Politik besteht nach wie vor, nur ist an die Stelle der Vernunftwahrheit die Tatsachenwahrheit getreten. Zwar hat es vermutlich nie eine Zeit gegeben, die so tolerant war in allen religiösen und philosophischen Fragen, aber es hat vielleicht auch kaum je eine Zeit gegeben, die Tatsachenwahrheiten, welche den Vorteilen oder Ambitionen einer der unzähligen Interessengruppen entgegenstehen, mit solchem Eifer und so großer Wirksamkeit bekämpft hat.

Doing less

“The case for doing less in our peer reviews” by Kate Derickson is an interesting essay on scientific reviews.

While it is a luxury to receive thorough and carefully thought-out comments from a colleague, the nature of blind peer review means that the author cannot know who is making suggestions […] And yet, the author is often relying on the paper being published for professional security or advancement. This puts the author in the position of being obligated to rework their arguments according to constructive suggestions made by an anonymous person whose credibility or self-interest they cannot assess. Moreover, while reviewers often identify similar issues in a paper, they often propose a variety of different approaches to addressing them, many of which work at cross purposes. Authors can be overwhelmed by the range of suggestions, feeling obligated to split the difference and cover all the bases in case the paper goes back to all three reviewers. While papers generally get better through the review process, authors often have a difficult time navigating contradictory reviewer suggestions.

But wait, there is also a point where I do not agree (in the light of the recent elife decision).

we think carefully about what we decide to send out for peer review, in order to enable us to curate a table of contents that we think is at the cutting edge of our disciplines and of interest to our readership.

Creating the most cited journal? Creating cutting edge? This is a pre-internet 1980’s attitude of  a journal editor trying to get a higher citation impact in the competition with other journals. It simply devalues everything that Derickson does not understand or that Derickson does not want to promote.

So my initial enthusiasm of the paper finally dies with “the biggest scientific experiment

Huge interventions should have huge effects. If you drop $100 million on a school system, for instance, hopefully it will be clear in the end that you made students better off. If you show up a few years later and you’re like, “hey so how did my $100 million help this school system” and everybody’s like “uhh well we’re not sure

Yes, this is about the end of scholarly peer review as peer review fails  to catch major errors in about 1/3 of all papers.

In all sorts of different fields, research productivity has been flat or declining for decades, and peer review doesn’t seem to have changed that trend. New ideas are failing to displace older ones. Many peer-reviewed findings don’t replicate, and most of them may be straight-up false. When you ask scientists to rate 20th century discoveries that won Nobel Prizes, they say the ones that came out before peer review are just as good or even better than the ones that came out afterward.

The focus is on “cutting edge” and “interest” aka impact points but  neither on ingenious minds nor brilliant discoveries.

On scientific startups

Scientific startups are en vogue. I have been asked several times and also showed interest in some companies but at the end it was either too risky, too time consuming or even unethical.

There is a new and interesting blog article about orphaned neurological implants by Cory Doctorow:

The startup world’s dirty not-so-secret is that most startups fail. Startups are risky ventures and their investors know it, so they cast a wide net, placing lots of bets on lots of startups and folding the ones that don’t show promise, which sucks for the company employees, but also for the users who depend on the company’s products.

The cruel point is not burning money but about burning humans. I think we clearly need a backup for such companies like Second Sight.

Terry Byland is the only person to have received this kind of implant in both eyes. He got the first-generation Argus I implant, made by the company Second Sight Medical Products, in his right eye in 2004 and the subsequent Argus II implant in his left 11 years later. He helped the company test the technology, spoke to the press movingly about his experiences, and even met Stevie Wonder at a conference. “[I] went from being just a person that was doing the testing to being a spokesman,” he remembers.
Yet in 2020, Byland had to find out secondhand that the company had abandoned the technology and was on the verge of going bankrupt. While his two-implant system is still working, he doesn’t know how long that will be the case. “As long as nothing goes wrong, I’m fine,” he says. “But if something does go wrong with it, well, I’m screwed. Because there’s no way of getting it fixed.”

Could the FDA please stop now Elon Musk’s brain-implant company Neuralink? It is a nightmare even before it started. And well, there is also a need for a governmental backup guarantee of Synchron if we allow such startups.

Integrity of scientific research

I have a new book on my desk that covers most aspects of the recent discussion around research integrity in 60 chapters arranged in 14 sections.

https://link.springer.com/book/10.1007/978-3-030-99680-2

It is a comprehensive overview of research integrity across disciplines. Maybe some chapters are not written by the leading experts in the field. And maybe the scope is super-broad with several off topic chapters like corruption in healthcare. This comes at the cost that other chapters like image integrity are missing. Nevertheless it is the largest body of text so far.

TBC…

Who shall survive?

published 1934

The eugenic doctrine, similarly to the technological process, is another promiser of extreme happiness to man. The eugenic dreamer sees in the distant future the human race so changed through breeding that all men will be born well, the world populated with heroes, saints, and Greek gods, and all that accomplished by certain techniques through the elimina­tion and combination of genes. If this should really come to pass the world would be at once glorious, beautiful, and God­ like. But it may be reached at the cost of man as a creator from within himself; it would have, like Siegfried in the myth, a vulnerable spot into which the thorn of death could enter,-a tragic world, a. world in which beauty, heroism, and wisdom are gained without effort, in which the hero is in want of the highest reward, the opportunity to rise from the hum­ blest origin to a supreme level. It sums up to the question whether creation in its essence is finished with conception or whether creation does not continue or cannot be continued by the individual after he is born.
The eugenic dreamer and the technological dreamer have one idea in common: to substitute and hasten the slow process of nature. Once the creative process is encapsuled in a book it is given; it can be recapitulated eternally by everybody without the effort of creating anew. Once a machine for a certain pattern of performance is invented a certain product can be turned out in infinite numbers practically without the effort of man. Once that miraculous eugenic formula will be found a human society will be given at birth perfect and smooth, like a book off the press.

Is ChatGPT outperforming Google search?

Unfortunately it is useless to enter any research question that I am interested in, so lets try some more trivial examples.

Alberto Romero

It’s still quite apparent that ChatGPT lacks reasoning abilities and doesn’t have a great memory window (Gary Marcus wrote a great essay on why it “can seem so brilliant one minute and so breathtakingly dumb the next”). Like Galactica, it makes nonsense sound plausible. People can “easily” pass its filters and it’s susceptible to prompt injections.

ChatGPT maybe a jump forward but it is a jump into nowhere. Time to cite again the Gwern essay

Sampling can prove the presence of knowledge but not the absence

which is again my problem that it is useless to enter any real research question as there is nothing to train the algorithm beforehand.  AI cannot make any difference between true and false as AI does not “understand” but simply calculates the strength of the association found in training texts.

Apropos Gerechtigkeit

 

30 Gerechtigkeitstheorien auf Wikipedia

Sowohl Sokrates und Platon als auch Aristoteles sahen das Glück als den höchsten anzustrebenden Wert an. Gerechtigkeit war für sie die oberste Tugend, um diese Glückseligkeit zu erreichen. Gerechtigkeit war so eine grundlegende Charaktereigenschaft…Kant wies das Naturrecht als metaphysisch zurück und entwickelte die Idee des Vernunftrechts…In einer kantischen Position wird der Rationalität die praktische Vernunft gegenübergestellt, die ein allgemeingültiges Motiv moralischen Handelns beinhaltet.