00:00:00: Also wenn sich Karsten Wildberger, der Digitalminister, auf die republica stellt und sagt, er möchte das Digitalministerium wie ein Start-up führen, dann würde ich halt sagen, nein, bitte nicht. Beim Start-up ist das Risiko des Scheiterns mit eingepreist und einkalkuliert. Das darf ja der Staat nicht tun. Der Staat darf nicht scheitern.

00:00:25: Wie können wir Polarisierung begegnen und Europa stärken? Hi, ich bin Muschda Sherzada und das ist Gesellschaft besser machen, ein Podcast der Körber-Stiftung. Hier spreche ich alle zwei Wochen mit verschiedenen Menschen, die genau diese Fragen bewegen. Was passiert, wenn rechte Politik und die Tech-Industrie eine Allianz eingehen? Die Zusammenarbeit zwischen Donald Trump und Elon Musk sowie das neu geschaffene Department of Government Efficiency (DOGE) lassen erahnen, wie schnell demokratische Institutionen auseinandergenommen werden können. Künstlicher Intelligenz kommt dabei eine ganz besondere Rolle zu. Die neuen Technologien verändern fast unmerklich die Grundlagen unserer demokratischen Öffentlichkeit. Sie durchdringen nicht nur unseren Alltag, sondern auch die Art und Weise, wie wir denken, kommunizieren und politisch handeln. Wie können wir einer KI-getriebenen Polarisierung begegnen und müssen wir in Europa mit ähnlichen Zuständen rechnen wie in den USA? Darüber spreche ich heute mit dem Philosophen und Mathematiker Rainer Mühlhoff von der Universität Osnabrück. In seinem aktuellen Buch "Künstliche Intelligenz und der neue Faschismus" warnt der Ethikprofessor vor der Gefahr des digitalen Faschismus, einer Symbiose aus Technologie, Macht und Gewaltbereitschaft, die das Ziel hat, demokratische Strukturen zu untergraben. Wir sprechen darüber, welche Narrative hinter dem KI-Hype stecken, welche Gefahren in Europa drohen und warum wir deutlich mehr Regulierung brauchen. Rainer, schön, dass du heute da bist. Ja, hallo, danke für die Einladung. Du kritisierst sehr stark die Naivität aktueller KI-Debatten. Was stört dich denn daran?

00:01:50: Naja, wir sind gerade ja insbesonders in Deutschland noch in der Phase, wo wir denken, KI zu verpassen, KI als Universal-Lösung für alle unsere Probleme anschaffen zu müssen. Vom Bürokratieabbau bis zur Behebung des Pflegekräftemangels oder Lehrkräftemangels, während man gleichzeitig auf der anderen Seite des Atlantiks sieht, was politisch auch passieren kann, wenn die KI-Industrie in einer zu engen Nähe mit insbesondere rechter Politik steht. Diese Mischung ist schon ein bisschen bizarr, dass wir einerseits dem so nacheifern, so unter dem Stichwort digitale Souveränität, wir verpassen den Zug oder haben wir ihn schon verpasst und gleichzeitig sehen, wie in den USA alles autoritär wird und schief läuft und zwar gerade durch die Allianz von Tech-Interessen und politischen rechten Interessen.

00:02:46: Das heißt, dieser starke Fokus auf Zukunft und Innovation und Fortschritt, der immer so bisschen dahinter steckt bei dieser Diskussion, der lenkt uns eigentlich ab von den Dingen, auf die wir jetzt gerade schauen müssten. Kann man das so zusammenpassen?

00:02:59: Gerade sind wir noch in der Falle, dass wir denken, man kann durch die Anschaffung von KI-Technologie automatisch Fortschritt bewirken. Dass das quasi deterministisch ist. Wenn man KI möglichst viel hat, man KI möglichst dereguliert, dann ist das automatisch Fortschritt. Von diesem Kurzschluss muss man sich dringend entfernen in der gesellschaftlichen Debatte, weil wir erstens praktisch gerade in den USA sehen, dass es das nicht unbedingt heißt. Was da ja gerade abläuft, ist politisch kein Fortschritt, auch sozialstaatlich kein Fortschritt. Und weil wir also deswegen, wenn wir auf diese Technologien setzen wollen, und das ist sicherlich zu einem gewissen Grad auch sinnvoll, dennoch sozial und gesellschaftlich darüber nachdenken müssen, wie rahmt man das denn so, dass wirklich Fortschritt dabei rauskommt, in einem gesellschaftlichen Sinne, in einem Sinne des Gemeinwohls, im Sinne von alle profitieren davon und nicht nur ein paar wenige, so wie das nämlich gerade in den USA der Fall ist. Wir sehen ja eine unheimliche Elitenwirtschaft da, wo die Spanne zwischen Arm und Reich immer größer wird.

00:04:09: Du beschäftigst dich ja sehr ausführlich damit, wie, hast du auch gerade schon gesagt, rechtspopulistische Bewegungen, KI dazu nutzen, Macht zu verschieben und zu kumulieren bei sich selbst und schreibst, dass KI nicht immer zwangsläufig zu einem technokratischen Staatswesen oder Faschismus führt, aber bestimmte Technologien und Praktiken besonders kompatibel sind mit autoritären und antidemokratischen Ideologien, vor allem wenn es keine staatliche Regulierung gibt. Könntest du das einmal auch am Beispiel der Alt-Right-Bewegung genauer erklären?

00:04:38: Genau, also die Frage ist halt, warum gibt es diese Allianz zwischen KI-Technologie und faschistuiler Politik oder was steckt hinter der Behauptung, dass es die gibt? Und wesentlich ist halt dann die Frage, ist das nur Zufall, ist das nur Opportunismus, also machen gerade die Tech-Eliten nur opportunerweise mit bei der Alt-Right-Politik, weil die halt, weil letztere halt gerade an der Macht ist oder gibt es irgendwelche inherenten Kompatibilitäten? Und die These, die ich zu machen versuche, schon, dass es inhärente Affinitäten, Kompatibilitäten zwischen KI-Technologie und autoritärer oder faschistischer Politik gibt. das so ein bisschen zu erläutern, muss man erst mal zwei Ebenen unterscheiden. Das eine ist, sagen wir mal, die materielle Ebene. Also warum eignet sich KI-Technologie sehr gut für autoritäre, anti-egalitäre faschistische Politik? Also warum kann man die ... wenn man solche politische Akteure sind, gut als Werkzeuge benutzen. Das ist die eine Ebene und die andere Ebene ist sowas, was ich die ideologische Ebene nennen würde. es gibt gemeinsame ideologische Wurzeln hinter der Entwicklung von KI-Technologie und hinter auch dem historischen Faschismus des 20. Jahrhunderts. Also KI-Technologie ist ja seit, den Begriff gibt es ja seit Mitte des 20. Jahrhunderts. Das ist eine Begriffsschöpfung für Das ist eigentlich so ein Containerbegriff, der verschiedene Felder der Informatik so beinhaltet. Und seitdem man das künstliche Intelligenz nennt, ist das so ganz besonders wirkmächtig, weil es irgendwie die Menschen und die Öffentlichkeit bei irgendwie so einem Punkt berührt, der aufhör- aufhorchen lässt, wenn man von Intelligenz oder Nachahmung von Intelligenz redet. Und die Forschung, die das betreibt, ist ganz lange zum Beispiel schon getrieben von solchen Lehren, die man zum Beispiel Transhumanismus nennt. Transhumanismus ist so eine Pseudophilosophie, die sagt, dass wir mittels Technologie die biologischen Grenzen der Menschheit überwinden können. Also dass wir zum Beispiel alle Krankheiten heilen können oder unsterblich werden können. Und das gibt es dann auch in der Variante, dass wir den Weltraum besiedeln, also dass wir die terrestrische Bindung der Menschheit verlassen und irgendwie so, also nicht mehr so als Körper, als biologische Körper leben, sondern irgendwie so mit upgeloadetem, hochgeladenem Bewusstsein in irgendwelchen Clouds und das kann dann auch irgendwie in den Weltraum sich ausbreiten und so weiter. Klingt alles völlig abgefahren, ist aber etwas, was seit vielen Jahrzehnten diskutiert wird als Idee. Und wenn man da ein bisschen näher reinguckt, dann muss man sich natürlich fragen, okay, ist die Idee, dass wir alle davon profitieren, unsterblich zu werden, also Krankheiten heilen zu können, uns in den Weltraum auszubreiten, oder ist das eher etwas, wo bestimmte Menschengruppen von profitieren? Und wenn man näher reinguckt, dann sieht man, ja, das ist hochselektiv. Es geht nicht darum, dass wir alle unsterblich werden, sondern es geht darum, dass ein paar von uns unsterblich werden. Also man kann uns plakativ sagen, wer nimmt denn Elon Musk mit seinem Raumschiff mit auf den Mars, wenn hier die Erde vom Klimawandel abbrennt? Es sind halt eben nicht wir alle, sondern nur sehr wenige. Und dann wird man feststellen, dass in diesem Transhumanismus und somit auch in der KI-Forschung seit langem schon Ideen der Eugenik fortwirken. Also der Eugenik, die damals im 19. und 20. Jahrhundert in Europa und in den USA auch wesentlich schon die Politik geprägt hat. zum Beispiel zu Zeiten des Nationalsozialismus, aber auch in den USA in den 20er Jahren, 1920er Jahren. Wir sehen zum Beispiel das Fortwirken der Eugenik heute in der KI-Wirtschaft, unter anderem an einem riesengroßen Fetisch für das Konzept IQ. Die sind alle massiv Intelligenzprozente fixiert, zum Beispiel weil die Idee ist, wir brauchen noch intelligentere Menschen erstmal, noch bessere KI entwickeln zu können und weil noch haben wir keine KI, die stark genug ist, alle Krankheiten heilen zu können und uns in den Weltraum ausbreiten zu lassen. Deswegen brauchen wir erst einmal noch intelligentere Menschen und die müssen wir züchten. Wenn man so jemanden wie Elon Musk fragt, dann ist das oder Peter Thiel, dann sagen die, die müssen wir gezielt hervorbringen, züchten. Die gehen so weit, dass sie das halt auf biologischer Ebene machen mit so Präimplantationsdiagnostik und dann In-vitro- Fertilisation. Elon Musk ist investiert in Unternehmen, die künstliche Uteri herstellt, sodass man Reproduktion von Frauen unabhängig machen kann. Also Frauen sitzen schon mal nicht im Raumschiff zum Mars. Außer Katy Perry vielleicht. Vielleicht. Also ich will sagen, zum Beispiel, wenn man auf die Eugenik schaut, die ist gerade wieder aktueller denn je, auch wenn viele Leute das Wort Eugenik dafür nicht benutzen. Die hat aber seit lang und kontinuierlich, also zum Beispiel derjenige, auf den das Wort Transhumanismus zurückgeht, Julian Huxley, ein britischer Biologe,

00:09:17: die Perifalat.

00:09:38: Der war der erste Vorsitzende der UNESCO und er war auch mehrere Jahre Vorsitzender der britischen Eugenik-Gesellschaft in den 50er Jahren. Also das hat alles einen gemeinsamen Ursprung, ich sagen.

00:09:48: Okay, das war jetzt also die Erklärung der ideologischen Affinität, was dann heute auch sozusagen genutzt wird von autoritären Kräften, rechtspopulistischen Kräften, ⁓ demokratische Diskurse auch zu unterwandern. Wie ist das möglich und welche Narrative gerade aus dem Silicon Valley spielen hier mit rein?

00:10:11: Genau, das ist eigentlich der wichtige Punkt bei dieser Ideologie-Analyse. Also das heißt, wir bleiben noch einmal kurz auf der ideologischen Ebene und dann ist das ja jetzt die Frage, okay, also so paar abgedrehte Spinner wie Peter Thiel oder Elon Musk, die hängen halt irgendwelchen Eugenik-Fantasien an. Warum müssen wir uns damit jetzt beschäftigen? Gut, erstens, weil sie sehr reich und deswegen sehr mächtig sind, aber ich glaube, es gibt noch viele weitere Gründe, warum wir uns damit jetzt beschäftigen müssen und zwar, weil diese Ideologien in irgendeiner Variante, und teilweise sind das so bisschen unauffälligere oder verwaschende Varianten, auch sehr stark den öffentlichen Diskurs von KI-Technologie prägen. Das heißt, wir alle hängen damit drin, mit unserem öffentlichen und politischen Diskurs über KI, unserem Bild von KI, hängt der Großteil der Öffentlichkeit sozusagen Leitversionen dieser Ideologien an, ohne dass es explizit wird. Zum Beispiel die Idee, dass die sehr stark auch aus der Industrie gepusht wird, dass KI-Technologie so ein existenzielles Risiko bedeuten würde. Da werden ja gerne mal solche Auslöschungsszenarien eröffnet, also dass KI, wenn sie nicht ethisch auf Vini gebracht wird, die menschliche Zivilisation auslöschen kann. Es mag bestimmte Szenarien geben, wo das passiert, das möchte ich nicht bestreiten, die sind aber, was die relative Wahrscheinlichkeit angeht, nicht so wahrscheinlich, wie sie oft dargestellt werden. Die Frage ist, warum werden sie eigentlich so dargestellt? Und der Punkt ist, Eine der Diskursstrategien der Industrie, die in der Wissenschaft seit ein paar Jahren beobachtet und dokumentiert wird, ist, dass der öffentliche Diskurs über KI so zerrissen wird zwischen entweder krass dystopischen Ansichten darüber, was das in der Zukunft bedeutet oder sehr stark utopischen Ansichten. Also entweder KI macht alles besser, müssen nicht mehr arbeiten, werden nicht mehr krank und sterben nicht mehr, wobei wer das wir ist, ist dann immer das, was nicht beantwortet wird oder KI wird uns auslöschen. Eine nicht gutmütige, sondern bösartige KI wird uns auslöschen. Das wird dann gerne mit so einer Art Kalter Krieg 2.0 verschaltet, wo dann diese bösartige KI die ist, die wir haben, wenn China zuerst starke KI entwickelt und nicht die westliche Welt, weil dann wird China uns natürlich selbstverständlich auslöschen, was ja auch eine totale Hypothese ist. Jedenfalls ist der öffentliche Diskurs sehr stark von diesem FOMO, diesem Fear of Missing Out. AI geprägt, der nur diese zwei Alternativen kennt. Entweder wir machen voll mit und dann geht es in Richtung Utopie oder wir verpassen es und dann werden wir ausgelöscht. Und dieses Framing ist so stark, das ist so Zwischentöne. Also zum Beispiel so, wie können wir denn KI machen, so dass es bestimmten Nutzen hat und bestimmte Schäden vermeidet oder dass es bestimmten Personengruppen auch nützt, die sonst nämlich immer vergessen werden. Oder wie können wir vielleicht KI so im Sinne von einem von Mitspracherecht aller gestalten. Also dass nicht die Industrie entscheidet, so dass ist jetzt das, was man nicht verpassen darf, sondern wir haben vielleicht so partizipatorische Prozesse in unserer Gesellschaft, die sagen, so dafür wollen wir das haben, das ist gut oder dafür nicht. Und das sollte nicht rein durch Kapitallogiken getrieben werden, wie diese Entscheidungen ausfallen. Solche Zwischentöne sind in der KI-Diskussion systematisch unterbelichtet oder die finden fast keinen Raum. Also zum Beispiel wir gehen auch in Schulklassen, also mein Team am Lehrstuhl, wir machen auch Arbeit mit SchülerInnen und da erfährt man das nochmal in zehnmal konzentrierter Form, dass diese SchülerInnen, die kennen sich ja alle sehr gut aus mit Technik und KI, weil die halt so Digital Natives oder Handy Natives sind, aber die sehen halt überhaupt keinen Spielraum für politische Mitgestaltung. Die sagen, das zieht alles über uns hinweg, wir fühlen uns komplett machtlos, während wir gleichzeitig aber das große Schadpotenzial sehen. Und dann resultiert daraus so ein Resignationsgefühl, so wir können ja nichts tun. Genau weil dieser Raum für gemeinsam abgestimmte oder gemeinsam entworfene KI-Zukünfte in unserem Gesellschaftsdiskurs weitestgehend fehlt. Das ist, würde ich sagen, eine der öffentlichen Versionen dieser Hardcore-Tech-Ideologien, die manche Akteure im Hintergrund haben. Diese öffentliche Version zieht dann am gleichen ideologischen Strang wie diese transhumanistischen Ideologien.

00:14:31: Und wenn man das jetzt zum Beispiel in so Start-up-Rhetorik übersetzen würde, dann geht es wahrscheinlich ⁓ Dinge wie, wir brauchen Disruption für gesellschaftlichen Fortschritt und regulatorische Eingriffe sind wahrscheinlich eher ein Hindernis, damit wir vorankommen.

00:14:46: Genau, also die Start-up-Idee, die Start-up-Logik ist auch ein Teil dieser Tech-Ideologien, also dieser Ideologien, die die KI-Industrie massiv umtreibt. Ich meine, das ist fast schon trivial, weil ja die meisten erfolgreichen KI-Unternehmen ehemals Start-ups waren. Also, oder deswegen verwundert es zumindest nicht, dass das eine Ideologie ist, die da tief prägt. Das ist ja einmal dieses Move fast and break things Prinzip. Also mach erst mal Sachen, die vielleicht auch rechtswidrig sind oder oder Sachen etwas kaputt machen, gesellschaftlich auch etwas kaputt machen. Zum Beispiel auch sowas wie Gleichstellung oder Chancengleichheit oder geteilten Wohlstand. Solche Ideale könnten auch das Opfer von Breakthings sein. Es müssen nicht immer nur Rechtsbrüche sein. Und dann nachlaufend kümmern wir uns darum, aufzuräumen. Und das Ganze wird ja in den USA einfach noch sehr viel stärker befürwortet. Das ist ja fast so ein Pioniergeist. Es hat auch was Naja, das hat doch was Postkolonialistisches. Also irgendwie so ein neues technisches Feld, ist so ein Territorium, das ist up for grabs. kannst du dir nehmen. Wer da zuerst hinkommt, der besetzt da das Feld und der schafft Fakten und Realitäten. Und mag es sein, dass das irgendwie erstmal aneckt und dann kann der Staat, würde in den USA ja sehr viel mehr erst nur hinterherlaufend regulieren. Also in Europa haben wir dieses Prinzip Vorsorge. In den USA gilt ja viel stärker die Idee, dass man erst ex reguliert, also erst wenn ein Schaden manifest ist, dann würde man erst regulieren. Damit kollidiert das. Das zeigt auch, wir diese ganzen KI-Regulierungsdebatten, warum es da so diese Unterschiede zwischen den USA und Europa gibt. Weil wir halt hier ein Vorsorgeprinzip haben im Denken des Gemeinwesens und des Staates, während man in den USA das eben eher als eine Freiheitsbeschränkung sieht, vor allem wenn es vorauslaufend ist, wo noch gar nicht bewiesen ist, dass irgendwas schiefgehen kann, dann würde man das als eine völlig drübere Freiheitsbeschränkung empfinden. Genauso ist aber natürlich das Start-up-Prinzip auch verknüpft mit diesem ganzen Risikokapital. Das ist übrigens auch eine Sache, die fehlt mir total in der Debatte über digitale Souveränität. Also einer der Hauptgründe, warum wir in Europa weniger Digitalindustrie haben, nicht Die stärkere Regulierung, das ist vielleicht 5 Prozent und Regulierung per se killt auch keine Industrie, sondern wenn sie gut gemacht ist, dann ermöglicht sie sie vielleicht sogar. Aber der viel größere Punkt ist natürlich, dass es hier viel weniger diese Risikokapitalkultur gibt, wo man also das Scheitern mit einkalkuliert. Also Risikokapital heißt ja, man gibt irgendwie 100 Start-ups, großzügige Finanzierung und man weiß ganz genau 95 davon werden eingehen, aber 5 Prozent werden so groß. dass die Deficitte dann wieder wegmachen. Diese Weise kriegt man hier in Deutschland nicht so leicht Geld. Und das ist natürlich inhärent mit dieser Start-up-Logik verbunden. Also entweder du setzt dich durch in so einem Sozialdarwinismus der Unternehmen und bist dann so der Ob-Siegende oder du gehst halt ein. Der Punkt ist halt, also wenn sich Carsten Wildberger, der Digitalminister, auf die Republik stellt, so wie dieses Jahr im Mai erfolgt und sagt, Er möchte das Digitalministerium wie ein Start-up führen, dann würde ich halt sagen, nein, bitte nicht, man kann doch nicht einen Staat wie einen Start-up führen. Beim Start-up ist also das Risiko des Scheiterns mit eingepreist und einkalkuliert. Das darf ja der Staat nicht tun, der Staat darf nicht scheitern. Der Staat darf auch nicht irgendwie was machen und dann eingestampft werden, dann ist das ganze Geld weg, sondern der Staat muss halt Rechtssicherheit und Stabilität garantieren. ich will sagen, ist ein riesengroßer Kulturglasch nicht nur zwischen Europa und den USA, sondern vor allem, glaube ich, wird dieses Startup-Prinzip hier auch wiederum so auf eine Weise vergöttert, die völlig daneben geht, weil sie überhaupt nicht versteht, was die Risiken davon sind, damit verbunden sind.

00:18:50: Jetzt hast du ja die Unterschiede zwischen den USA und Europa bzw. Deutschland aufgezeigt. Und man neigt ja aber trotzdem immer auch so bisschen dazu, darüber zu schauen und zu gucken, was da gerade passiert und darüber zu sprechen. Gott, das ist ja furchtbar, wie gerade die Demokratie unterwandert wird. Und gleichzeitig bringt die USA jetzt das neue Sicherheitspapier raus und kündigt ganz offensiv an und sagt, wir werden uns jetzt einmischen. Das läuft da alles nicht. Europa geht bald unter und wir werden jetzt dafür sorgen, dass die ganzen autoritären Kräfte und der Widerstand vor allem gestärkt wird, damit Europa gerettet werden kann durch die USA. Welche Gefahren siehst du hier, dass das Ganze eben nicht nur da drüben in Anführungsstrichen passiert?

00:19:33: Ja genau, ich würde sagen, ist echt der wichtigste Punkt oder das, was wir wirklich tunigst unterlassen sollten, dass wir die Gefahr neuer autoritärer Politik gerade ermöglicht oder verstärkt durch technologische Mittel rein in den USA verorten und dann hier in so einer Art schaulustigen Position sind und sagen, ha ha ha, gut, dass der Kelch diesmal an uns vorbeigeht und wussten wir ja schon lange, dass da in den USA was schief läuft. Das wäre sehr dumm, denn Natürlich gibt es sehr viele Tendenzen davon auch hier. Einmal hängen wir hier gerade massiv diesen KI-Ideologien an, also dieser Idee, dass wir KI nicht verpassen dürfen und uns dann förmlich anbiedern an die USA im Sinne von so einem Hintereifern. Wir wollen, dass das hier genauso wird wie da, ohne darüber nachzudenken, wie man vermeiden kann, die Nachteile mitzuprobieren. Wir haben ja eigentlich den Luxus, dass wir 20 Jahre hinterher sind. Dann können wir uns ja angucken, was ist eigentlich gut, was ist schlecht. Wie können wir die guten Sachen übernehmen und die schlechten sein lassen? Eigentlich ist es Luxusposition. Sie wird aber gerade diskursiv nicht so geframt. Und eines meiner Lieblingsbeispiele oder ich finde, wichtigste Beispiele dazu, dass wir das auch in Deutschland haben, ist zum Beispiel diese Debatte rund Bürokratieabbau, die wir gerade wieder führen. meine, Bürokratie schmähen ist ein jahrhundertaltes Geschäft. Der Begriff, der wurde ... im 19. Jahrhundert erfunden, ⁓ Staatsapparate oder Verwaltungsvorgänge zu schmähen. Das ist geschenkt und das hat es auch immer gegeben, Bürokratiekritik in den 70ern und so weiter. Jetzt haben wir halt wieder eine neue Welle und diese neue Welle, möchte aber KI stattdessen installieren im Verwaltungswesen oder die zieht ihre Legitimität, die Verwaltung zu kritisieren, daraus, dass man es ja mit KI-Technologie vermeintlich schneller, besser, effizienter könnte. Und ich glaube, ist ein ganz folgeschweres Missverständnis. Denn was KI-Technologie heute macht und wo KI-Technologie drin gut ist, das sind ja alles statistische Verfahren, die alle Einzelfälle statistisch wägen. Also auf Ähnlichkeiten hin sortieren und abklopfen und dann auch entscheiden. Aber immer mit einem Begründungsdefizit, also im Extremfall, das wissen wir mittlerweile auch, sind halt KI-Verfahren, Blackbox-Verfahren, die eine Begründung schuldig bleiben. da ist auch immer, und das ist so wichtig bei allen KI-Verfahren, der Gegenwart ist, das Risiko daneben zu treffen, einfach eingepreist. Das ist Teil davon. Im Durchschnitt mögen solche Verfahren viele Fälle effizient entscheiden, aber dabei ist immer Teil der Rechnung, dass es Fälle gibt oder Fallgruppen gibt, auf denen diese Verfahren nicht so genau laufen und über die wird halt in dem Moment hinweg gesehen, wo man von so einer Logik der Einzelfallprüfung, der unsere Verwaltung ja verschrieben und auch verpflichtet ist, zu einer Logik der statistischen Fallprüfung übergeht. Also ich glaube, man sollte sich das vielleicht einfach so vorstellen, bevor man danach ruft, dass Sozialhilfe-Fälle oder Asylanträge mit KI entschieden werden sollen, könnte sich die Mehrheitsgesellschaft ja mal überlegen, wie sie es finden würde oder was es mit ihnen machen würde, wenn zum Beispiel deine Claims bei der Haftpflichtversicherung von KI entschieden werden. Also etwas, du willst Geld, weil irgendwie Haftpflichtfall, da sitzt aber kein Mensch, sondern da sitzt, und das ist ja auch heute schon die Realität, da sitzt dann irgendwie so ein Apparat mit großen Sprachmodellen, der entscheidet dann über diesen Versicherungsclaim. In den USA haben wir das ja auch erlebt, dass das im Gesundheitsbereich, also bei den Gesundheitsversicherungen gemacht wird. Und das führt ja geradezu sehr, sehr viel Frust, weil nämlich viele Menschen ihre Krebstherapie abgelehnt bekommen haben, ohne dass es begründungsfähig ist. Inherent ist es nicht begründungsfähig, aber einfach der Algorithmus sagt, lohnt sich nicht. Und dann macht man es halt nicht. Man stelle sich also mal vor, so wird über Versicherungsfälle entschieden oder über Gerichtsverfahren, wo man sich über irgendwas streitet oder über Schulnoten. Und das Potenzial, da ungerecht behandelt zu werden, ist vorhanden. Und ich glaube, dass das ist so bisschen empathisch, da kann man vielleicht dann in so Bereich eher mitgehen. Und das müsste man dann jetzt einmal darauf transferieren, auf so Fälle, wenn es Sozialhilfe geht oder also etwas, was eher an den sogenannten gesellschaftlichen Rändern relevant ist und wo dann die Mehrheitsgesellschaft nicht mehr so viel Empathie hat.

00:24:06: Das war ja quasi gerade schon der erste Appell an die Zivilgesellschaft. Das wäre nämlich meine nächste Frage gewesen. Welche Rolle siehst du bei den Bürgerinnen und Bürgern oder welche Wünsche hättest du, wie sich der Diskurs ändert und was wir tun können, ⁓ dieser KI-getriebenen Polarisierung entgegenzuwirken?

00:24:21: Ja, ich glaube, ein ganz wesentliches Ding ist wirklich die Falle der Technofixes verstehen. Also ein Technofix ist der wissenschaftliche Begriff dafür, wenn suggeriert wird, man könnte soziale oder politische Probleme mit Technologie lösen. Einfachstes Beispiel Lehrkräftemangel lösen wir nicht, indem wir die Ausbildungsbedingungen und Arbeitsbedingungen von Lehrkräfte verbessern, sondern indem wir jetzt in Reihenweise in den Bundesländern KI-Systeme für die Schule anschaffen, die dann bis hin zu automatisiert Klassenarbeiten korrigiert. Das ist ein typischer Technofix. Warum? Weil ein politisch gemachtes und soziales Problem der Lehrerberuf offenbar nicht beliebt genug, zu anstrengend, psychisch zu belastend, hat ja auch sehr viel mit gesellschaftlicher Situation zu tun. Lehrkräfte vielleicht nicht gut genug gewappnet mit Ressourcen, den Belastungen standzuhalten. Alles soziales Problem, wird aber nicht sozial gelöst. sondern wird technisch gelöst, wird dadurch entpolitisiert und vermeintlich durch Automaten oder also deswegen auch beliebig skalierbar gelöst. Sowas entpuppt sich in 99 Prozent der Fälle hinterher als falsch. Also das werden halt auch insbesondere rausgeschmissene Gelder an die KI-Industrie sein. Man wird damit die Qualität der Lehre nicht verbessern langfristig und den Lehrerberuf auch nicht beliebter machen. Und ich glaube, ist einfach entscheidend, dass wir öffentlich viel fitter darin werden, Vorschläge zu entlarven. Also wenn nach mehr KI in Bereich X gerufen wird, müssen wir schneller dahinter kommen oder dem auf die Schliche kommen, dass da offenbar eine Delegation von Verantwortung aus dem sozialen Bereich in den technischen Bereich stattfinden soll. Das übrigens nebenbei gesagt auch eine unheimliche Verlagerung von hoheitlichen oder staatlichen öffentlichen Aufgaben an private Dienstleister dabei stattfindet, das ist noch die zweite Dimension. da fließen ja Daten, Entscheidungskompetenzen, prozedurale Kompetenzen und Hoheiten fließen ja ab an Privatakteure, was dann auch letztlich so eine Art immer mächtiger werden der KI-Industrie bedeuten kann. Dem muss man schneller auf die Schliche kommen. Man muss glaube ich auch unbedingt verstehen, dass die KI-Industrie meines Erachtens, und das sagen einige ja mittlerweile, auch an so einem Punkt steht, wo man sich ja aktuell sehr stark vor so einer Blase fürchtet, also dass die platzt. das hat ja mindestens zwei Gründe. Das eine ist zum Beispiel KI ist sehr datenintensiv. KI-Technologie braucht tonnenweise Daten und kommerzielle Datenquellen, also die Daten, die wir alle jeden Tag am Handy produzieren oder wenn wir das Internet benutzen, die sind jetzt längst gut erschlossen und da ist auch nicht viel Neues mehr zu erwarten. Die KI-Industrie braucht aber immer neue Daten, weiter wachsen zu können und diesen Investmentversprechen, also dieser Wachstumsdynamik, gerecht zu werden. Und deswegen wendet sich die KI-Industrie gerade weltweit an Datenschätze, die noch nicht gehoben sind. Ja, was sind das für Datenschätze? Wer hat denn gute Daten, auch noch gut aufbereitete, gut strukturierte, saubere, cleane Daten? Das sind öffentliche Akteure, also öffentliche Einrichtungen vom Bildungssystem über die Gesundheitsversorgung. bis zum Verwaltungswesen selber. Das sind alles Datenschätze, die noch nicht gehoben sind von der KI-Industrie. Und wir sind gerade in staatlichen Wende der KI-Industrie. Während die letzten 15 Jahre sich auf kommerzielle Daten gerichtet hat, wendet man sich jetzt an staatliche Daten. Und das Gleiche kann man argumentieren fürs Kapital. Also Investmentkapital wird gerade prekärer, weil nämlich die Geschäftsmodelle solcher KI-Unternehmen immer noch nicht rentabel sind, allermeist. Zum Beispiel OpenAI ist ja ein hundertfaches von dem valuiert als zum Beispiel der Umsatz und insgesamt machen sie auch Verlust. Wenn öffentliche Einrichtungen für KI-Technologie bezahlen, dann ist das ein sehr sicherer Geldstrom. Das ist ja dann kein Investment, sondern das ist ja einfach, der wird für die Dienstleistung bezahlt. Das ist also eine ganz neue Geldquelle, die sich die Industrie da gleichzeitig erschließt.

00:28:36: Wir haben jetzt gehört, in welche Richtung es tendenziell läuft und welche Gefahren das mit sich bringt. Aber unter welchen Bedingungen könnte KI denn unsere demokratische Öffentlichkeit stärken? Oder anders gefragt, wo siehst du vielversprechende Ansätze, wie es besser laufen sollte?

00:28:52: Ja, ist eine Frage, die wird oft gestellt und insbesondere weil man vielleicht das Kind ja auch nicht mit dem Bade ausschütten möchte. das Entscheidende ist für mich, dass aktuell KI-Technologie untrennbar ist von der Wirtschaftsform, die damit verknüpft ist. Es gibt keine nennenswerte, in so einem Sinne von Marktkapitalisierung oder Bedeutung nennenswerte KI-Technologien, die nicht in den Händen von wirtschaftlichen oder militärischen Akteuren ist. KI-Technologie ist doch sehr, sehr inhärent verknüpft damit, sehr großes multinationales Unternehmen zu sein. KI-Technologie machen zu können, braucht man Daten von Milliarden von Menschen. Solche Daten haben halt nur große Plattformunternehmen. Und dann sind wir schon bei wenigen Unternehmen, die in den USA oder in China angesiedelt sind und ein paar weitere noch anderswo. Aber das ist es erstmal im Wesentlichen. Deswegen ist halt so diese ganze Debatte kann ich KI-Technologie nehmen, aber von den schädlichen Auswirkungen dieser Wirtschaftsweise unabhängig machen? Das ist schon mal für mich eine teilweise theoretische Frage. ist aber gerade zum Beispiel in Deutschland wird ja auch KI-Forschung betrieben, die nicht so großindustrielle Forschung ist, zum Beispiel an Fraunhofer Instituten oder auch an meinem Institut, am Institut für Konkretionswissenschaften in Osnabrück. Das sind halt KI-Projekte, die sich auf ganz spezifische Probleme ⁓ fokussieren. Zum Beispiel, man möchte die Diagnostik einer bestimmten Krankheit verbessern oder man möchte die Prozesse im Agrarwesen optimieren, ⁓ zum Beispiel Ernteerträge zu verbessern. da sehe ich dann plötzlich Chancen. Denn wenn also der Problemaufriss sehr spezifisch ist, also wenn wir wirklich ein ganz konkretes Problem haben und dafür ein konkret gemachtes KI-System bauen, dann sehe ich Hoffnungen, dass das dann auch nicht so überbordet, indem es so so einem Machttool wird, was alles einverleibt. Also das wäre jetzt die wirtschaftliche Herangehensweise. Also ich glaube, man muss es unabhängig machen von diesem Raubbaukapitalismus, der im Silicon Valley getrieben wird. Ich glaube, wenn man jetzt nochmal auf das Thema Bürokratieabbau schaut, glaube ich, sollte man sich überhaupt erst mal bewusst sein, was soll denn eigentlich KI in so einer Verwaltung machen. Und ich glaube, da kann man qualitativ mehrere Sachen unterscheiden. Zum Beispiel, wenn es jetzt darum geht, KI-Tools anzuschaffen, die handschriftliche Formulare digitalisieren, damit die SachbearbeiterInnen nicht mehr alles abtippen müssen, weiß ich nicht, was dagegen spricht. Kein Problem. Handschrifterkennung und Digitalisierung der Papierberge sehe ich kein Problem. Das ist für mich die erste Stufe von KI als Werkzeug. Weil da sitzt ja immer noch eine Sacharbeiterin, die hat die Hoheit über den gesamten Prozess. Die weiß, genau diesen einen Schritt, für den ich vorher eine halbe Stunde gebraucht hätte, weil ich alles abtippen muss, brauche ich ab jetzt 30 Sekunden, dann kann das gerne mit KI sein. ich nichts gegen. Warum auch? ist ja insbesondere ein Effizienzgewinn. Ich glaube, die zweite Stufe wäre, wenn ein KI-System hergeht und dafür verwendet wird, Entscheidungen vorzustrukturieren. man digitalisiert nicht nur Unterlagen, sondern das Ding guckt sich so den ganzen Fall an, sagen wir mal, einen Elterngeldantrag und entscheidet da vor, also schlägt eine Entscheidung vor, wo schon Ermessungsspielraum einkalkuliert. Also oft sind Entscheidungen ja mit Ermessungsspielraum verbunden. Und auch dort macht dann die KI so einen Vorschlag. Und die Sachbearbeiterin reviewt das noch. Ich würde sagen, ja, das ist so eine Semi-Automatisierung. Klingt erst mal gut, weil die Sachbearbeiterin immer noch sozusagen die Herrin des Prozesses bleibt und die Macht und die Entscheidungsbefugnis hat. Es geht vielleicht ein bisschen schneller. Da sagt halt die Forschung, es gibt diesen sogenannten Automation-Bias. eine Entscheidung maschinell ausgerechnet wird und sei es nur auf dem Weg des Vorschlags, eines Vorschlags oder einer Vorstrukturierung, glaubt man diesem Prozess mehr, als wenn es ein Mensch gemacht hätte, weil er ja auf Zahlen und Berechnungen basiert, anstatt auf irgendwie menschlicher Subjektivität. Also es ist in der Psychologie ein gut studierter Mechanismus, dass also die Wahrscheinlichkeit, dass die Sachbearbeiterin da irgendwie so genau so kritisch prüft, wenn das irgendwie die Person im Nebenzimmer gemacht hätte, die ist halt geringer. Und was wir auch organisationssoziologisch sehen, ist, dass solche MitarbeiterInnen dann meistens halt viel mehr Fälle im gleichen Zeitraum bearbeiten müssen. Also quasi mit dieser Halbautomatisierung, mit dieser Teilautomatisierung einfach einen größeren Druck bekommen, schneller zu werden. Und dann gibt es auch noch das Phänomen Wenn man dem dann widersprechen will, was das KI-System vorstrukturiert hat, dann muss man das hocheskalieren. Das ist dann irgendwie peinlich und dann muss man sich rechtfertigen. Das ist dann auch noch so sozial im Arbeitskontext ein bisschen unwahrscheinlich. Deswegen würde ich sagen Teilautomatisierung ist schon sowas, da müsste man echt sehr genau hingucken. Und dann die dritte Stufe wäre halt Vollautomatisierung. Da sehe ich, habe ich ja vorhin schon gesagt, gravierende Risiken. Aber ich glaube, diese Unterscheidung. Warum haben wir die nicht in der öffentlichen Debatte? Wird viel zu wenig gemacht. Es wird einfach immer nur pauschal davon geredet, dass KI alle Probleme lösen kann. Glaub ich halt nicht. Aber wenn man sie zum Beispiel erstmal auf die erste Stufe reduziert, dann glaube ich da schon dran. Also nicht alle Probleme, aber manche Probleme.

00:34:05: Und jetzt einmal raus aus der Expertenrolle. Wo stehen wir gerade eigentlich?

00:34:09: Ich glaube, wir stehen schon an einem historischen Punkt, wo sich viele Prozesse, nicht nur technologische Entwicklungen, sondern insbesondere auch politische Entwicklungen und die Klimakrise drastisch zuspitzen. Und es, glaube ich, einfach sehr unübersichtlich wird, was daraus passiert. ich glaube, in meinem Leben war es noch nie so wenig absehbar, was in fünf Jahren sein wird. wie das so weitergehen wird, wie die Zukunft weitergehen wird. Und ich glaube, ist echt sehr viel nach oben wie nach unten möglich. Also es kann alles sehr deutlich knallen, es kann auch irgendwie gut gehen. So die Volatilität ist enorm. Und ich glaube, weiß nicht, viel kann ich dazu nicht sagen. ich nehme noch mit beklemmen, dass war das, sagen wir mal, Der Teil der Bevölkerung, den man mit so einer Vernunft erreichen kann oder mit so einer Stimme der Besonnenheit, der wird auch immer kleiner, habe ich das Gefühl. Das nimmt einem dann ja auch das einzige Instrument, Einfluss zu haben oder ⁓ mitzugestalten oder ⁓ darauf zu hoffen, dass es schon werden wird oder dass man sich schon besinnen wird. Das ist insgesamt schon eher so ein düsterer Ausblick.

00:35:34: Vielen für deine Offenheit. ich habe unheimlich viel gelernt. Also falls ihr zu Hause euch für dieses Thema interessiert, kann ich euch natürlich zum einen das Buch von Rainer Mühlhoff empfehlen, aber auch drei weitere geplante Veranstaltungen im März und April zum Silicon Valley und seinen politischen Verflechtungen im KörberForum. Es wird auch ein Livestream geben. Und die Infos und den Link dazu findet ihr in den Show Notes. Rainer, ganz herzlichen Dank für deine Einschätzung, deine Ideen und deine Zeit heute.

00:36:03: Ich danke dir.

00:36:11: Gesellschaft Besser machen – eine Podcastproduktion der Körber-Stiftung. Projektleitung Amira Naumann, Moderation und Redaktion Muschda Sherzada.