Hon Hai Research Institute Taiwan New York

Hon Hai Research Institute lanceert Traditional Chinese LLM met redeneervermogen

InfiniBand-netwerken en voltooid in slechts ongeveer vier weken. In vergelijking met inferentiemodellen die onlangs op de markt zijn gebracht, vormt de efficiëntere en goedkopere methode voor modeltraining een nieuwe mijlpaal voor de ontwikkeling van de Taiwanese AI-technologie.

FoxBrain is gebaseerd op de Meta Llama 3.1-architectuur met 70B parameters. In de meeste categorieën van de TMMLU+ test dataset, presteert het beter dan Llama-3-Taiwan-70B van dezelfde schaal. Het blinkt vooral uit in wiskunde en logisch redeneren (voor TMMLU+ benchmark van FoxBrain, zie Afb.1). Hierna volgen de technische specificaties en trainingsstrategieën voor FoxBrain:

Gegevensuitbreidingsmethoden en kwaliteitsbeoordeling bepaald voor 24 onderwerpcategorieën met behulp van eigen technologie, waarmee 98B-tokens van hoogwaardige pre-traininggegevens voor Traditioneel Chinees zijn gegenereerdLengte van het contextvenster: 128 K tokens120 NVIDIA H100 GPU's gebruikt voor training, met totale rekenkosten van 2.688 GPU-dagen.Architectuur voor parallelle training met meerdere knooppunten gebruikt om hoge prestaties en stabiliteit te garanderenUnieke Adaptive Reasoning Reflection-techniek gebruikt om het model te trainen in autonoom redeneren

 

In testresultaten vertoonde FoxBrain aanzienlijke verbeteringen in wiskunde vergeleken met het basismodel Meta Llama 3.1. Het boekte grote vooruitgang in wiskundige testen in vergelijking met Taiwan Llama, momenteel het beste Traditional Chinese LLM, en overtrof Meta's huidige modellen van dezelfde klasse in wiskundig redeneervermogen. Hoewel er nog steeds een kleine kloof is met het distillatiemodel van DeepSeek, liggen de prestaties al heel dicht bij de wereldstandaarden.

De ontwikkeling van FoxBrain - van het verzamelen, opschonen en aanvullen van gegevens tot continue pre-training, Supervised Finetuning, RLAIF en Adaptive Reasoning Reflection - werd stap voor stap uitgevoerd door middel van onafhankelijk onderzoek. Uiteindelijk zijn er ondanks de beperkte rekenkrachtresources voordelen behaald die in de buurt komen van AI-modellen van wereldklasse. Dit LLM-onderzoek toont aan dat het Taiwanees technologisch talent met internationale tegenhangers op gebied van AI-modellen kan wedijveren.

Hoewel FoxBrain oorspronkelijk is ontworpen voor toepassingen binnen de groep, zal de Groep in de toekomst met technologiepartners blijven samenwerken om de toepassingen van FoxBrain uit te breiden, de open-source informatie te delen en AI te promoten in productie, beheer van toeleveringsketens en intelligente besluitvorming.

Tijdens de modeltraining bood NVIDIA ondersteuning via de Taipei-1 supercomputer en technisch advies, waardoor het Hon Hai Research Institute de pre-training van het model met NVIDIA NeMo met succes kon voltooien. FoxBrain wordt ook een belangrijke motor achter de upgrade van de drie belangrijkste platforms van Foxconn: Smart Manufacturing. Smart EV. Smart City.

Volgens planning worden de resultaten van FoxBrain voor het eerst gedeeld op een belangrijke conferentie tijdens NVIDIA GTC 2025 Session Talk "From Open Source to Frontier AI: Build, Customize, and Extend Foundation Models" op 20 maart.

Over het Hon Hai Research Institute

Het instituut omvat vijf onderzoekscentra. Elk centrum telt gemiddeld 40 hightech R&D-professionals die zich allemaal richten op het onderzoek naar en de ontwikkeling van nieuwe technologieën, het versterken van de technologie- en productinnovatiepijplijn van Foxconn, inspanningen om de transformatie van de Groep van "brawn" naar "brains" te ondersteunen en het verbeteren van het concurrentievermogen van de "3+3" strategie van Foxconn.

Over Foxconn hier.

Foto - https://mma.prnewswire.com/media/2637576/Fig_1_TMMLU__benchmark_results_FoxBrain_Meta_Llama_3_1_70B_Taiwan_Llama_70B.jpg

View original content:https://www.prnewswire.com/news-releases/hon-hai-research-institute-lanceert-traditional-chinese-llm-met-redeneervermogen-302397479.html