Hon Hai Research Institute lanciert LLM in traditionellem Chinesisch mit Schlussfolgerungsfähigkeiten
07.08.2025 - 18:04:50FoxBrain basiert auf der Meta Llama 3.1 Architektur mit 70B Parametern. In den meisten Kategorien des TMMLU+ Testdatensatzes übertrifft es Llama-3-Taiwan-70B in der gleichen Größenordnung, insbesondere in Mathematik und logischem Denken (TMMLU+ Benchmark von FoxBrain, siehe Abb. 1). Im Folgenden finden Sie die technischen Spezifikationen und Trainingsstrategien für FoxBrain:
Etablierte Methoden zur Datenanreicherung und Qualitätsbewertung für 24 Themenkategorien durch proprietäre Technologie, die 98 Milliarden Token hochwertiger Vorab-Trainingsdaten für traditionelles Chinesisch generiertLänge des Kontextfensters: 128 K-MarkenVerwendung von 120 NVIDIA H100 GPUs für das Training, mit Gesamtkosten von 2.688 GPU-TagenEinsatz einer parallelen Trainingsarchitektur mit mehreren Knoten, um hohe Leistung und Stabilität zu gewährleistenEinsatz einer einzigartigen Adaptive-Schlussfolgerungs-Reflexionx-Technik, um das Modell für autonomes Denken zu trainieren
In den Testergebnissen zeigte FoxBrain umfassende Verbesserungen in Mathematik im Vergleich zum Basismodell Meta Llama 3.1. Bei mathematischen Tests erzielte es im Vergleich zu Taiwan Llama, dem derzeit besten traditionellen chinesischen Großmodell, erhebliche Fortschritte und übertraf Metas aktuelle Modelle derselben Klasse in der Fähigkeit zum mathematischen Denken. Auch wenn das DeepSeek-Destillationsmodell noch nicht ganz ausgereift ist, liegt seine Leistung bereits sehr nahe an den weltweit führenden Standards.
Die Entwicklung von FoxBrain - von der Datenerfassung, -bereinigung und -erweiterung bis hin zu Continual Pre-Training, Supervised Finetuning, RLAIF und zur Adaptiven Schlussfolgerungs-Reflexion - wurde Schritt für Schritt durch unabhängige Forschung durchgeführt, wobei trotz begrenzter Rechenressourcen Vorteile erzielt wurden, die an KI-Modelle von Weltklasse heranreichen. Diese umfangreiche Sprachmodellforschung zeigt, dass Taiwans technologisches Talent im Bereich der KI-Modelle mit internationalen Konkurrenten mithalten kann.
Obwohl FoxBrain ursprünglich für interne Gruppenanwendungen konzipiert wurde, wird die Gruppe auch in Zukunft mit Technologiepartnern zusammenarbeiten, um die Anwendungsmöglichkeiten von FoxBrain zu erweitern, seine Open-Source-Informationen zu teilen und KI in der Fertigung, im Lieferkettenmanagement und in der intelligenten Entscheidungsfindung zu fördern.
Während der Modellschulung bot NVIDIA Unterstützung durch den Taipei-1 Supercomputer und technische Beratung, so dass das Hon Hai Research Institute die Modellvorschulung mit NVIDIA NeMo erfolgreich abschließen konnte. FoxBrain wird auch ein wichtiger Motor für die Modernisierung der drei großen Plattformen von Foxconn sein: Smart Manufacturing. Smart EV. Smart City.
Die Ergebnisse von FoxBrain sollen zum ersten Mal auf einer großen Konferenz während des NVIDIA GTC 2025 Session Talk „From Open Source to Frontier AI vorgestellt werden: Build, Customize, and Extend Foundation Models" am 20. Märzvorgestellt werden .
Informationen zum Hon Hai Research Institute
Das Institut verfügt über fünf Forschungszentren. Jedes Zentrum beschäftigt durchschnittlich 40 hochqualifizierte Fachkräfte im Bereich Forschung und Entwicklung, die sich alle auf die Erforschung und Entwicklung neuer Technologien, die Stärkung der Technologie- und Produktinnovationspipeline von Foxconn, die Bemühungen zur Unterstützung des Wandels der Gruppe von „Muskelkraft" zu „Intelligenz" und die Verbesserung der Wettbewerbsfähigkeit der „3+3"-Strategie von Foxconn konzentrieren.
Informationen zu Foxconn finden Sie hier.
View original content:https://www.prnewswire.com/news-releases/hon-hai-research-institute-lanciert-llm-in-traditionellem-chinesisch-mit-schlussfolgerungsfahigkeiten-302397149.html
