Falcon-Emirati-7B: TII lanza un LLM especialista en dialecto emiratí

Un LLM que entiende el dialecto emiratí como un nativo

El Technology Innovation Institute (TII) de Abu Dabi presentó Falcon-Emirati-7B, un modelo de lenguaje abierto especializado en el dialecto emiratí (khaleeji), construido sobre la familia Falcon-H1-Arabic. En el benchmark Alyah (الياه), un test de 1.173 preguntas creado por TII con hablantes nativos, el modelo alcanza 84,83% de acierto, el resultado más alto frente a ALLaM, Jais, Fanar y Gemma, y se vuelve el único de los cinco evaluados que responde de forma consistente en emiratí en lugar de saltar al árabe estándar (MSA).

La diferencia con sus rivales no es marginal. En dialect fidelity (si la respuesta vuelve en emiratí y no en MSA), Falcon-Emirati-7B obtiene 0,52, frente a 0,05 de ALLaM-7B-Instruct-preview, 0,03 de gemma-3-27b-it, 0,02 de Jais-2-8B-Chat y prácticamente 0,00 de Fanar-2-27B-Instruct. Casi dos órdenes de magnitud por encima del más cercano.

Por qué el dialecto importa tanto (y por qué la escala no basta)

El árabe no es un idioma: es una familia bajo un mismo nombre. El Modern Standard Arabic (MSA) es la lengua de los medios y los libros de texto, pero la conversación real, los negocios, la negociación, el humor y la poesía nabati ocurren en dialectos: emiratí, saudí, egipcio, levantino, magrebí. Un modelo que solo maneja MSA puede traducir palabra por palabra y, aun así, no entender el significado.

La fuente cita un dato de Computer Weekly que ya mostraba el problema global: según los responsables de Jais 2 (el LLM árabe de Inception/G42/MBZUAI presentado en diciembre de 2025 con ayuda de Cerebras), el árabe solo representa 0,9% del contenido web, contra 58,8% del inglés (Statista, enero de 2023, recogido por Computer Weekly). Y de ese 0,9%, la mayoría es MSA o material religioso, no conversación dialectal. El problema se agrava en dialectos como el emiratí, que es mayoritariamente oral y aparece mucho menos en texto escrito que otros dialectos del Golfo.

Falcon-Emirati-7B se entrenó para atacar exactamente ese hueco: vocabulario, gramática y, sobre todo, el contexto cultural (costumbres, valores, historia, poesía) que un nativo da por sentado.

Qué arquitectura hay debajo

El modelo toma como base la variante de 7B parámetros de Falcon-H1-Arabic, lanzada en enero de 2026. Su característica clave es una arquitectura híbrida Mamba-Transformer:

• Mamba (State Space Models) aporta eficiencia lineal en secuencias largas.
• Transformer attention mantiene la precisión en dependencias de largo alcance.
• Las salidas se fusionan antes de la proyección de cada bloque.

La familia Falcon-H1-Arabic se ofrece en 3B, 7B y 34B, con ventanas de contexto de hasta 128K y 256K tokens. En el Open Arabic LLM Leaderboard (OALL), el de 7B alcanza 71,47% de promedio, por encima de modelos de ~10B como Fanar-1-9B (Qatar) y ALLaM 7B (Arabia Saudita), y el de 34B llega a 75,36%, superando a sistemas de 70B+ como Qwen2.5 72B y Llama-3.3 70B, según el comunicado de TII recogido por Yahoo Finance.

TII eligió la variante de 7B para la especialización dialectal porque, según el artículo, ofrece el mejor balance entre calidad y costo de entrenamiento e inferencia. El de 34B probablemente empujaría un poco más la calidad, pero a un costo que no se justifica para un modelo de chat enfocado en un dialecto; el de 3B deja poco margen para captar la profundidad cultural buscada.

Cómo se entrena un dialecto: el caso Falcon-Emirati

Uno de los aportes más interesantes del paper es la descripción honesta del proceso. Adaptar un modelo general de árabe a un dialecto específico no es más fácil que entrenar el modelo base; es un problema con sus propios cuellos de botella:

• Pocos datos crudos: el emiratí aparece poco en escritura online.
• Significado no literal: los modismos, proverbios y referencias poéticas dependen de contexto cultural compartido.
• No hay playbook: no existe una receta documentada sobre cuánta data dialectal usar, cómo mezclarla con MSA, ni en qué etapa de entrenamiento aplicar la adaptación (preentrenamiento continuo, SFT u optimización por preferencias).

El equipo de TII construyó un pipeline con tres fuentes:

1. Texto emiratí auténtico rastreado de sitios y foros escritos en dialecto, sin traducir ni transliterar desde MSA.
2. Material en MSA sobre cultura emiratí (herencia, costumbres, historia) para que el modelo entienda de qué habla cuando el tema es local.
3. Datos sintéticos en dialecto emiratí, generados con reglas, glosarios y diccionarios específicos del dialecto para que suene auténtico y no "árabe del Golfo genérico".

Luego iteraron con ablaciones sobre la mezcla de datos, el orden de las etapas y la supervisión, evaluando con revisión de hablantes nativos además de métricas automáticas, porque los benchmarks no capturan naturalidad, tono ni encaje cultural.

Qué dice el benchmark Alyah y por qué importa

Alyah (الياه, "Estrella del Norte") es un benchmark de 1.173 preguntas de opción múltiple creado por TII en colaboración con la comunidad, recogidas manualmente de hablantes nativos emiratíes. Cubre desde saludos cotidianos y etiqueta hasta lenguaje figurado, conocimiento de la herencia y poesía emiratí, justo las categorías donde los modelos genéricos fallan más.

En Alyah, Falcon-Emirati-7B logra 84,83%, el mejor resultado del leaderboard. Pero la métrica más reveladora es la de fidelidad de dialecto (¿el modelo responde en emiratí o se va a MSA?), porque mide el comportamiento por defecto del modelo, no solo si sabe la respuesta correcta. Ahí Falcon-Emirati-7B es el único que cambia de registro de forma consistente en cada categoría.

El patrón se repite en la evaluación head-to-head con un juez LLM (Gemini 3.7 Flash):

• Contra Jais-2-8B-Chat: gana 0,69 a 0,31 en Poesía y Expresión Creativa; 0,62 a 0,38 en Lenguaje y Dialecto.
• Contra ALLaM-7B-Instruct-preview: gana 0,66 a 0,34 en poesía; 0,58 a 0,42 en Lenguaje y Dialecto.
• Contra Fanar-2-27B-Instruct: arrasa en todas las categorías, con 0,88 a 0,12 en poesía y 0,80 a 0,20 en Sensibilidad Social y Religiosa.

El único punto donde los rivales empatan es en Saludos y Expresiones Cotidianas, la categoría donde emiratí y MSA se solapan más, lo que facilita que un modelo genérico suene "casi nativo" por accidente.

El contexto competitivo: la carrera por el árabe

Falcon-Emirati-7B llega en un momento de ebullición en la IA árabe. Estos son los movimientos verificables del research:

• Jais 2 (Inception/G42/MBZUAI, con Cerebras): anunciado en diciembre de 2025 como "el primer modelo frontera entrenado e inferido íntegramente en hardware Cerebras". Incluye variantes 8B y 70B; en producción corre a hasta 2.000 tokens/segundo, según el comunicado oficial en Yahoo Finance.
• Falcon-H1-Arabic (TII): presentado en enero de 2026, arquitectura híbrida Mamba-Transformer, lidera el OALL en todas las escalas según Yahoo Finance y Computer Weekly.
• ALLaM (HUMAIN, Arabia Saudita): la empresa estatal saudí (filial de PIF) anunció el 26 de agosto de 2026 una colaboración estratégica a largo plazo con Microsoft para llevar los modelos ALLAM a Microsoft Foundry y a Microsoft 365 Copilot, incluyendo Forward Deployed Engineers para despliegue hands-on, según PR Newswire recogido por Morningstar y Microsoft News.

El patrón es claro: los países del Golfo están construyendo IA soberana en árabe a escala nacional, con apoyo de hyperscalers occidentales pero con datasets y modelos propios. Falcon-Emirati-7B es el primer paso explícito hacia la especialización dialectal, no solo lingüística.

Qué significa esto para tu startup

Si tu producto atiende mercado árabe, MENA o comunidades de habla árabe en LATAM, esta noticia cambia varias cosas:

• El "árabe genérico" deja de ser aceptable. Un chatbot de saudí, emiratí o kuwaití que responde en MSA suena como un servicio al cliente prestado por un becario extranjero. El usuario lo nota y la confianza baja.
• Hay un playbook replicable. La receta de TII (base sólida + datos dialectales auténticos + datos sintéticos con guardrails + evaluación nativa + benchmark dedicado) se puede adaptar a otros dialectos y a otros mercados con poco texto escrito: aimaras, quechua, wayúu, guaraní, mixteco. La lección metodológica es más valiosa que el modelo en sí.
• El costo de adaptación es bajo, no nulo. Falcon-Emirati-7B no es entrenar un modelo desde cero, es fine-tuning + SFT + data curation sobre un modelo ya fuerte. Eso baja la barrera para startups con presupuesto limitado.

Dos acciones concretas que puedes tomar esta semana

1. Evalúa tu producto en dialecto, no solo en MSA. Si tienes un chatbot, un agente de IA o un sistema RAG para mercado árabe, prueba las mismas consultas que un usuario local haría (con modismos, abreviaturas y mezcla de MSA + dialecto) y mide si tu modelo actual se va a MSA o entiende. Probablemente va a MSA. Ese es tu gap.
2. Adapta este patrón a tu mercado desatendido. Toma un modelo base sólido (Llama 3, Mistral, Falcon, Qwen), identifica el dialecto o variedad lingüística que tu audiencia usa realmente, construye un mini-benchmark con nativos (50-200 preguntas alcanzan para empezar) y mide antes de entrenar. Es la forma barata de saber si vale la pena invertir en adaptación.

Falcon-Emirati-7B ya está disponible en el chat de Falcon (chat.falconllm.tii.ae) y los pesos están publicados en Hugging Face. Si construyes sobre él, te evitas el paso más caro: el preentrenamiento.

Fuentes

• Falcon-Emirati: When an LLM Learns the Dialect, the Culture, and the Nuance (Hugging Face blog, TII)
• TII's Falcon-H1 Arabic sets global standard for Arabic AI (Computer Weekly)
• Cerebras Delivers End-to-End Training and Inference for Jais 2, the World's Leading Open Arabic LLM (Yahoo Finance / Business Wire, dic-2025)
• Microsoft and HUMAIN announce long-term strategic collaboration to enable AI transformation in Saudi Arabia and beyond (Microsoft News, ago-2026)