Hon Hai Institute Research lanza un modelo extenso de lenguaje de chino tradicional con capacidades de razonamiento
07.08.2025 - 18:02:38FoxBrain se basa en la arquitectura Meta Llama 3.1 con parámetros 70B. En la mayoría de las categorías entre el conjunto de datos de prueba TMMLU+, supera a Llama-3-Taiwan-70B de la misma escala, y sobresale particularmente en matemáticas y razonamiento lógico (para consultar la prueba comparativa TMMLU+ de FoxBrain, consulte la figura 1). A continuación se encuentran las especificaciones técnicas y estrategias de entrenamiento para FoxBrain:
Se establecieron métodos de aumento de datos y evaluación de calidad en 24 categorías de temas a través de tecnología patentada, lo que generó 98 mil millones de tokens de datos de preentrenamiento de alta calidad para el chino tradicional.Longitud de la ventana de contexto: 128 K tokensSe utilizaron 120 NVIDIA H100 GPU para el entrenamiento, con un costo informático total de 2.688 días de GPUSe empleó una arquitectura de entrenamiento paralelo de múltiples nodos para garantizar un alto rendimiento y estabilidad.Se utilizó una técnica única de reflexión de razonamiento adaptativo para entrenar al modelo en razonamiento autónomo.
En los resultados de las pruebas, FoxBrain mostró mejoras integrales en matemáticas en comparación con el modelo base Meta Llama 3.1. Logró un progreso significativo en las pruebas matemáticas en comparación con Taiwan Llama, actualmente el mejor modelo extenso de chino tradicional, y superó a los modelos actuales de Meta de la misma clase en capacidad de razonamiento matemático. Si bien todavía existe una ligera brecha con el modelo de destilación de DeepSeek, su rendimiento ya está muy cerca de alcanzar los estándares líderes mundiales.
El desarrollo de FoxBrain (desde la recopilación, limpieza y aumento de datos hasta el preentrenamiento continuo, el ajuste fino supervisado, RLAIF y la reflexión de razonamiento adaptativo) se logró paso a paso mediante una investigación independiente que, finalmente, logró beneficios que se acercan a los modelos de IA de clase mundial a pesar de los recursos informáticos limitados. Esta gran investigación sobre modelos lingüísticos demuestra que el talento tecnológico de Taiwán puede competir con sus homólogos internacionales en el campo de los modelos de IA.
Aunque FoxBrain se diseñó originalmente para aplicaciones grupales internas, en el futuro el Grupo continuará colaborando con socios tecnológicos para expandir las aplicaciones de FoxBrain, compartir su información de código abierto y promover la IA en la fabricación, gestión de la cadena de suministro y toma de decisiones inteligente.
Durante el entrenamiento del modelo, NVIDIA brindó soporte a través de la supercomputadora Taipei-1 y la consultoría técnica, lo que permitió a Hon Hai Research Institute completar con éxito el entrenamiento previo del modelo con NVIDIA NeMo. FoxBrain también se convertirá en un motor importante que impulsará la actualización de las tres principales plataformas de Foxconn: Smart Manufacturing. Smart EV. Smart City.
Está previsto que los resultados de FoxBrain se compartan por primera vez en una conferencia importante durante la sesión de charlas de NVIDIA GTC 2025 "From Open Source to Frontier AI: Build, Customize, and Extend Foundation Models" (Del código abierto a la IA de vanguardia: crear, personalizar y ampliar modelos básicos), el 20 de marzo.
Acerca del Hon Hai Research Institute
El instituto cuenta con cinco centros de investigación. Cada centro cuenta con un promedio de 40 profesionales en investigación y desarrollo de alta tecnología centrados en la investigación y el desarrollo de nuevas tecnologías, el fortalecimiento de la línea de innovación tecnológica y de productos de Foxconn, los esfuerzos para apoyar la transformación del Grupo de "fuerza bruta" a "cerebro" y la mejora de la competitividad de la estrategia "3+3" de Foxconn.
Acerca de Foxconn aquí.
View original content to download multimedia:https://www.prnewswire.com/mx/comunicados-de-prensa/hon-hai-institute-research-lanza-un-modelo-extenso-de-lenguaje-de-chino-tradicional-con-capacidades-de-razonamiento-302398230.html
FUENTE Hon Hai Research Institute
