KI made in Austria

Die heutige KI steckt in einer Krise, da es keine neuen Daten, insbesondere Texte gibt. Deshalb braucht man für die nächste Stufe der KI andere Ansätze als größere Modelle und mehr Daten“, sagt Sepp Hochreiter, KI-Pionier und Leiter des heimischen Exzellenzclusters „Bilateral AI“. Der aus Bayern stammende KI-Forscher hat an der Johannes Kepler Universität ein KI-Fachzentrum aufgebaut. Sein in den Neunzigerjahren erfundener Algorithmus Long Short-Term Memory (LSTM) hat den Fortschritt von künstlicher Intelligenz maßgeblich vorangetrieben.
Nun möchte Hochreiter im Rahmen von „Bilateral AI“ die nächste Generation von KI bauen – und dafür führt er zwei der wichtigsten KI-Forschungsansätze zusammen, die bisher getrennte Wege gegangen sind: die symbolische KI, die mit klar definierten, logischen Regeln arbeitet, und die sub-symbolische KI, die auf maschinellem Lernen basiert. Diese Kombination soll mit einer „Broad AI“ die nächste Stufe der AI ermöglichen, wie Hochreiter sie nennt. „Broad AI ist in der Lage, Wissen zu abstrahieren und auf komplexe Probleme anzuwenden. Sie kann Stromnetze intelligent regulieren, Klimamodelle optimieren und Gesundheitsprozesse effizienter gestalten. Dabei geht es um ein tiefgreifendes Verständnis von Zusammenhängen und Wechselwirkungen von Komponenten komplexer Systeme“, so der KI-Pionier.

Maschinelles Lernen …

Diese neue Fusion von subsymbolischer und symbolischer KI-Forschung spiegelt sich bereits an der JKU in Linz, dem zentralen Knotenpunkt des Clusters, wo seit 2019 das erste AI-Studium des Landes angeboten wird. „Unsere Studierenden sind immer in beiden Bereichen ausgebildet worden, während unsere Professoren bis vor kurzem nur ihren eigenen Bereich gekannt haben“, lacht Professor Günter Klambauer vom Institut für Machine Learning der JKU Linz. Der Forscher mit der hochgesteckten Mähne ist einer von bisher 46 Key Researchern des Exzellenzclusters.
Die subsymbolische Komponente des maschinellen Lernens erklärt Klambauer am Beispiel des Logikrätsels Sudoku: „Wenn Sie ChatGPT bitten, ein Sudoku auszufüllen, würde es die Zahlen nicht nach den Spielregeln setzen, sondern die nächste wahrscheinliche Zahl assoziieren – basierend auf den vielen Sudokus, mit deren Zahlen es trainiert worden ist.“ Sein Institut bringt dafür hocheffiziente Techniken des maschinellen Lernens ein, wie die von Hochreiter kürzlich erweiterte Large-Language-Model-Technologie xLSTM, die mit weniger Rechenkapazität schneller und genauer arbeitet als andere LLMs (siehe Interview).

… logisches Denken …

Und wie würde eine symbolische KI das Sudoku lösen? „Die symbolische KI erkennt die Spielregeln auf Basis von logischen Schlussfolgerungen, welche Felder schon belegt sind und wie die freien Felder auszufüllen sind“, erklärt Martina Seidl, Leiterin des Instituts für Symbolic Artificial Intelligence an der JKU Linz. „Wir arbeiten nicht mit statistischen Informationen, sondern mit einer Wissensbasis von harten Fakten und Regeln, wie man aus diesen Fakten neues Wissen ableiten kann.“
Der große Vorteil gegenüber dem maschinellen Lernen: Die Kette der Schlussfolgerungen und auf welchen Regeln und Fakten sie basieren, bleibt nachvollziehbar. Ebenfalls soll dieses verbesserte „Reasoning“ das „Halluzinieren“ von KI-Sprachmodellen verringern, indem diese gesichertes Weltwissen ausgeben und sich schneller an verändernde Umgebungen anpassen können.

Martina Seidl, Leiterin des Instituts für Symbolic Artificial Intelligence an der JKU Linz:
„Wir arbeiten nicht mit
statistischen Informationen, sondern mit einer Wissensbasis von harten Fakten und Regeln,
wie man aus diesen Fakten
neues Wissen ableiten kann.“

… und Wissensgraphen

Einen Weg, mit diesem Hintergrundwissen die Ergebnisse von KI-Modellen robuster und effizienter zu machen, bilden Wissensgraphen (Knowledge Graphs). Axel Polleres, Professor für Data in Knowledge Engineering an der Wirtschaftsuniversität Wien, bringt seine Forschungen über Wissensdatenbanken in „Bilateral AI“ ein. „Wir werden versuchen, Sprachmodelle mit Wissensdatenbanken wie Wikipedia zu verknüpfen, sodass sie auf aktuelles, faktenbasiertes Wissen zugreifen können.“ ChatGPT etwa könne brandaktuelle News erst abrufen, nachdem sie antrainiert wurden. Verknüpfte Wissensgraphen sollen Weltinformationen schnell und effizient abrufbar und speicherbar machen, so Polleres.
Außerdem entwickelt sein Department für Information Systems auch logikbasierte Methoden, um soziale Normen und Gesetze in KI einzubauen, sodass Sprachmodelle etwa die Datenschutz-Grundverordnung einhalten oder nach ethischen Grundsätzen handeln. Laut Polleres passiere beides schon, funktioniere jedoch nicht immer verlässlich, was aber gerade für den gesetzeskonformen Einsatz von KI in sensitiven Bereichen essenziell sein wird. Welche Aufgaben und Jobs die KI vom Menschen übernehmen soll, plant der Cluster „Bilateral AI“ künftig in einer Forschungsgruppe zum Thema „Digitaler Humanismus“ zu erörtern.

Quo vadis, Broad AI?

„Unsere Broad AI wird komplexe Produktionsprozesse, logistische Aufgaben und schwierige Arbeitsabläufe optimieren können und so den Wirtschaftsstandort Österreich attraktiver machen“, zeigt sich Sepp Hochreiter überzeugt. Seine Forscher-Kollegen sehen in der Praxis folgende Einsatzgebiete: Im Gesundheitswesen soll die „Broad AI“ die medizinische Diagnostik verbessern, indem sie bildgebende Verfahren mit logikbasierten Systemen kombiniert. Ärztinnen erhalten dadurch nachvollziehbare Entscheidungshilfen bei Diagnosen. In der Energiewirtschaft kann die KI das Steuern von hochdynamischen Stromnetzen optimieren, indem sie Verbrauchsmuster analysiert und regulatorische Vorgaben berücksichtigt.
Besonders in der schwächelnden heimischen Industrie könnte die Fusion von datengetriebener und symbolischer KI effizientere Produktionsprozesse ermöglichen, insbesondere in der Qualitätskontrolle und Robotik. Intelligente Algorithmen können die Platzvergabe in Lagern verbessern, Transportwege verkürzen und Betriebskosten senken. Auch komplexer werdende Anforderungen an das Lieferkettengesetz können von KI effizienter erfüllt werden.
Hochreiters Prognose: „Unternehmen werden Broad AI einsetzen, um die Produktivität ihres Unternehmens zu steigern. Da führt kein Weg vorbei, wenn man auf dem Markt bestehen will.“ Allerdings wäre es in Österreich bisher schwierig gewesen, die KI in die Unternehmen zu bringen. Wie dem Cluster mit seiner Grundlagenforschung nun der Wissenstransfer besser gelingen soll?

Strukturen für Forschung und Industrie

„Wir planen Workshops mit unseren Industriepartnern. Da wird sich zeigen, wie man die Ergebnisse aus der Grundlagenforschung in ein industrielles Setting überführen kann“, antwortet Seidl, die den Exzellenzcluster „Bilateral AI“ auch organisiert. In der Praxis kooperieren die einzelnen Universitäten bereits mit Unternehmen und Start-ups, woraus sich auch Synergien für den Cluster ergeben könnten. Doch Klambauer hält fest: „Ein fertiges Produkt wie ein Chatbot oder eine KI-Plattform wird nicht direkt aus dem Cluster kommen.“ Dennoch sollen die Forschungsergebnisse die Grundlage für spätere Anwendungen legen. Besonders die Reduktion von Fehlern und Halluzinationen bei KI-Systemen steht dabei im Fokus, so Klambauer
Auch der Forschungsstandort Österreich soll vom neuen KI-Cluster profitieren, dessen Aufbau mit rund 100 Mitwirkenden bereits in vollem Gange ist. „Das Projekt ist für österreichische Verhältnisse richtig groß. Neue Stellen werden laufend besetzt“, sagt Seidl. Neben wissenschaftlichen und administrativen Strukturen entsteht auch ein organisatorisches Fundament für die Zusammenarbeit mit der Industrie. Dieser Ausbau soll auch Forscher aus dem Ausland anlocken.

Neue KI-Fachkräfte

Einen zentralen Pfeiler von Bilateral AI bildet die universitäre Bildung. Doktorandinnen werden gezielt an der Schnittstelle von symbolischer und subsymbolischer KI ausgebildet. Auch auf Postdoc-Ebene wird ein Mentoring-Programm eingerichtet. Ziel ist es, Fachkräfte hervorzubringen, die sowohl in der Wissenschaft als auch in der Industrie wichtige IT-Projekte übernehmen können. Parallel sollen auch die Bachelor- und Masterstudien von den Projektinhalten profitieren.
Nicht zuletzt verspricht sich die Forschung auch Impulse für die heimische Start-up-Szene, wie bereits Sepp Hochreiters NXAI und dessen Ableger Emmi AI beweisen. „Es ist unser großer Vorteil, dass IT-Giants wie Google, Meta oder Open AI komplett auf sub-symbolische KI setzen. Die symbolischen Techniken haben in den USA keine Tradition, daher werden dort KI-Entwickler nur im maschinellen Lernen ausgebildet“, sagt Klambauer. „Nun haben wir in Europa die einmalige Chance, diese beiden Ströme zu vereinen.