03/2024 Forschung
© Shutterstock

Super Large Language Models: Ein weltweiter Wettlauf

Für manche ein Segen, für andere ein Desaster: Für die Technologieplaner in Peking hat sich mit der Generative Artificial Intelligence (GenAI) die um jeden Preis zu vermeidende Ur-Katastrophe wiederholt: Eine von den USA ausgehende Technologie erobert die Welt. Ein Blick auf Chinas GenAI-Entwicklungs-Landschaft.

von: Bernhard Seyringer

Nach der Veröffentlichung von ChatGPT-4 Ende November 2022 passierte in China – im Gegensatz zum Rest der Welt – zuerst einmal gar nichts. In der ersten Februarwoche 2023 hat dann, fast wie im Rausch, Chinas Generative-AI-Zeitalter begonnen. Ein erstaunlicher Wettlauf, bei dem praktisch jedes wesentliche Technologieunternehmen des Landes Pläne zur Entwicklung eines ChatGPT-ähnlichen Produkts ankündigte, setzte ein. Die Stimmung an der Börse war kurzzeitig so angeheizt, dass nur eine Ankündigung über ähnliche Pläne auf Plattformen wie IT Juzi genügte, um kräftige Anstiege der Aktienkurse zu erzeugen. Die Gründer der Lieferservice-Plattform „Meituan“, Wang Huiwen und Wang Xing, waren nicht die einzigen, die sich diese Möglichkeit nicht entgehen ließen.

Aus Sicht der Technologieplaner in Peking hat sich die um jeden Preis zu vermeidende Ur-Katastrophe wiederholt: Eine von den USA ausgehende Technologie erobert die Welt. Die zuständigen Ministerien in Peking wachten mit Argusaugen über die globale Technologieentwicklung. Mit teilweise großzügigen Investitionen in unterschiedliche neue Technologien der letzten Jahre wollte man vermeiden, von einer Entwicklung überrascht zu werden. Denn natürlich ist der „überraschende Durchbruch“ von Generative Artificial Intelligence (GenAI) in Wahrheit das Ergebnis jahrelanger Forschung. Und natürlich wurde auch in China dazu geforscht.

ChatGPT-4 „spricht“ Mandarin

ChatGPT-4 ist zwar in China nicht verfügbar, allerdings hat eine beträchtliche Anzahl von Kleinunternehmern ausländische Accounts an Auftraggeber verliehen oder für diese Fragen an das System gestellt. Screenshots und Kurzvideos zu den Antworten haben plötzlich sämtliche Social-Media-Kanäle geflutet. Die Faszination lag wohl ein Stück weit darin, dass die Fähigkeit von ChatGPT-4 im Umgang mit Mandarin beachtlich ist – im Unterschied zu seinem bereits 2020 veröffentlichten Vorgänger GPT-3. Experten von Fachmedienportalen wie „Xinzhiyuan“ oder „Jiqizhixin“ haben ChatGPT-4 getestet und waren beeindruckt: Offenbar lässt sich sogar der spezifische Propagandastil des früheren Herausgebers der KP-Parteizeitung „Global Times“, Hu Xijin, nachahmen oder der Emoji-geflutete Schreibstil diverser Influencer auf Xiaohongshu – Chinas Instagramm – darstellen. Etwas pikant ist, dass im ChatGPT-4-Entwicklungsteam auch fünf Absolventen chinesischer Universitäten sind, die in den USA ihr Doktoratsstudium absolvierten.

Der Spirit von Wudaokou

Das chinesische Ministerium für Wissenschaft und Technologie (MOST) hat drei seiner Forschungszentren mit der Entwicklung von GenAI beauftragt: Die 2018 gegründete Beijing Academy of Artificial Intelligence (BAAI) ist davon die herausragendste. Sogar der Stadtteil, in dem das BAAI in Peking angesiedelt ist – Wudaokou – hat in China mittlerweile die gleiche Synonymfunktion wie das Silicon Valley in den USA und weltweit. Etliche wissenschaftliche Durchbrüche sind direkt auf die BAAI zurückzuführen: das LLM-Modell WuDao 1.0, welches das BERT von Google und das GPT 3,5 von OpenAI geschlagen hat, das Modell „Aquila“ sowie das zurzeit größte Super Large Language Model BaGuaLu mit 14,5 Billionen Parametern.

An der Entwicklung von Letzterem war auch das im September 2017 gegründete Zhejiang Lab beteiligt. Im West Hangzhou Scientific Innovation Corridor angesiedelt, fokussiert es auf Grundlagenforschung und war intensiv in das „Training“ des BaGuaLu-Modells am Exascale-Supercomputer im National Supercomputing Center in Wuxi eingebunden.

Das dritte mit der Entwicklung von GenAI beauftragte Forschungszentrum ist das Peng Cheng Lab (PCL). In Zusammenarbeit mit den Regionalregierungen der Provinzen Guangdong und Shenzhen, 2018 gegründet, ist es ein weiteres wichtiges Innovationszentrum. PCL baut im Wesentlichen auf die Kooperation mit Universitäten in Hong Kong, Macau und Singapur auf und war maßgeblich an der Entwicklung von Baidus ERNIE 3.0 beteiligt, das zum Zeitpunkt seiner Veröffentlichung Chinas größtes Large Language Model (LLM) war.

Das PCL positioniert sich als besonders linientreues Institut und betont daher die jeweils aktuellen Leitphrasen der chinesischen Führung zur Integration von Forschung, Unternehmen und staatlichen Einrichtungen überdeutlich, nämlich die „Nationalteam“-Strategie von 2017 sowie die etwas neuere Formulierung „Whole-of-Nation-System“, die Xi Jinping in den letzten beiden Jahren verwendet hat. Letzteres ist nur ein Griff in die maoistische Sprachschatulle. Diese Ausrichtung beschert dem Institut hochrangige Politikerbesuche wie zuletzt vom stellvertretenden Ministerpräsidenten Ding Xuexiang.

Leitunternehmen für GenAI und LLM

Im Juli 2023 wurden Baidu, Huawei, Qihoo 360, China Mobile, iFlytek und Alibaba – alle bis auf China Mobile bereits seit 2019 Teil des „Nationalteams“ – ausgewählt, um als Leitunternehmen für GenAI und LLM zu fungieren. Neben diesen Technologie-Giganten sind es auch Unternehmen wie Sinovation Ventures von Kai-fu Lee, Wanwu Technologies aus Shenzhen oder Inspur Cloud Computing (LLM: Yuan 1.0), die eine Führungsfunktion übernommen haben. Sie diskutieren ihre Vorhaben intensiv auf Technologieplattformen wie Huxiu und übernehmen damit eine orientierungsgebende Funktion für die unzähligen Start-ups.

Baidu ist Chinas wichtigster ChatGPT-Herausforderer und führender Suchmaschinenanbieter. Das Unternehmen war einer der ersten Player im Bereich Generative AI und investiert seit 2017 enorme Summen in Natural Language Processing (NLP). Baidu hatte bereits im Januar 2013 das erste KI-Laboratorium der Welt gegründet, das „Deep Learning“ im Namen trägt: das Baidu Institute of Deep Learning. Der Leiter ist der frühere Direktor des NEC-Lab im Silicon Valley: Yu Kai. Er war einer der wenigen zu dieser Zeit, für den klar war, dass „Deep Learning“ riesiges Potential besitzt und die Technologie damals kurz vor dem Durchbruch stand.

Am 16. März 2023 hat Baidu schließlich „Ernie Bot“ (Wenxin Yiyan) veröffentlicht. Im SuperCLUE (Chinese Language Understanding Evaluation)-Ranking für chinesische LLM rangiert Ernie Bot am dichtesten hinter GPT-4. „Ernie Bot“ wurde mit der Open-Source-Plattform PaddlePaddle trainiert und wird mit Huawei-gefertigter Hardware-Ascend 910 Chips betrieben.

ByteDance & Tencent

Die Social-Media-Giganten Beijing ByteDance Technology Ltd. und Tencent waren mit ihren Plänen für GenAI bisher zurückhaltender als andere Unternehmen. ByteDance, das Unternehmen hinter TikTok, beziehungsweise Douyin in China und Tencent, der Betreiber des Messenger-Dienstes WeChat – Chinas WhatsApp – setzen auf Generative AI, hauptsächlich um das Nutzererlebnis auf ihren jeweiligen Plattformen zu verbessern. Beide Unternehmen haben in Erwägung gezogen, ihre eigene Hardware zu entwerfen und einen entsprechenden Software-Stack zu entwickeln. Sie scheinen aber im Moment mehr von westlichen Hardware-Quellen abhängig zu sein als Baidu und Huawei. Anfang September 2023 hat Tencent sein Hunyuan LLM veröffentlicht. Das Hunyuan LLM ist ein „Foundational Model“, also ein Basismodell für mehr als 50 Tencent-Anwendungen.

„Wahrheit aus tausend Fragen“

Alibabas Forschungsplattform, die DAMO-Academy, hat im April 2023 das „tonyi qianwen“ („Wahrheit aus tausend Fragen“)-Modell veröffentlicht, das sowohl für Mandarin als auch für die englische Sprache trainiert ist. Alibaba fokussiert vor allem auf die Lizensierung der LLM-Technologie für industrielle Anwendungen, unter anderem für die E-Commerce-Plattform Taobao oder die Plattform für Unternehmenskommunikation DingTalk.

Huawei hat sein „PanGu“-Foundational Model im Frühjahr 2023 zugänglich gemacht. Es ist ebenfalls ein Basismodell für eine Vielzahl von Anwendungen, das genau wie Baidu bereits streng nach technonationalistischen Richtlinien auf eigenen Ascend-910-Chips läuft und auf der eigenen Open-Source-Plattform MindSpore trainiert wurde. Im August 2023 hat Huawei gemeinsam mit iFlytek das Spark Model 2.0 publik gemacht. Laut Xinhua Research ist Spark 2.0 besser als ERNIE Bot und andere Modelle von Sense Time, Qihoo 360 oder auch Alibaba. Die Evaluierung ist generell schwierig, da die Modelle im Westen nicht zugänglich sind. Es bleibt also spannend.

Lesen Sie diesen Artikel ab Seite 18 der aktuellen Ausgabe 3-24 oder am Austria Kiosk!


Green Energy Lab visualisiert die Energiezukunft

Der Umstieg auf nachhaltige und zukunftssichere Energielösungen ist zentraler Faktor im Kampf gegen den Klimawandel. Das Innovationslabor Green Energy…

Weiterlesen

Grüne Synergien in Mobilität, Industrie und Energieversorgung

Die nachhaltige Transformation - Das primäre Ziel der Wasserstoffinitiative Vorzeigeregion Austria Power and Gas, kurz WIVA P&G, ist, die…

Weiterlesen

8. Wiener Innovationskonferenz

„In Zeiten des Umbruchs bestehen - Transformation mit Innovation“ - Die 8. Wiener Innovationskonferenz widmet sich den aktuellen Umbrüchen am…

Weiterlesen

FlexModul – Saisonale Speicherung von Solarenergie

© Barbara Krobath

Die Volatilität (Schwankungen) von erneuerbaren Energien bringt einen hohen Bedarf an Energiespeichern mit sich. Nur so kann auch zu Zeiten geringer…

Weiterlesen

Zum dekarbonisierten, leistbaren Wohnraum

© Canva/Illionaire

Die Weiterentwicklung von privaten Zinshäusern zu vertraglich abgesicherten Gemeinschaftsprojekten samt baubehördlicher Genehmigung für die umfassende…

Weiterlesen

Patricia Neumann: Neue Vorstandsvorsitzende der Siemens AG Österreich

© Siemens

Mag. Patricia Neumann (51) ist seit Anfang Mai 2023 Vorstandsvorsitzende der Siemens AG Österreich. Die neue CEO ist für die Dauer von fünf Jahren…

Weiterlesen

Abonnement und Mediadaten

Sie wollen die führende österreichische Fachzeitschrift kennen lernen?
Sie wollen sich über Erscheinungstermine, Schwerpunkte und Werbemöglichkeiten informieren?

Hier sind Sie richtig.  

Abonnement

Mediadaten