Sobre el autor
Me llamo Johannes Eva y creo sitios web desde hace 27 años. Baremo IA nació para cubrir una carencia: ninguna clasificación medía lo que me interesaba, la calidad de escritura de los modelos de IA en español.
Los benchmarks públicos se centran en el código, las matemáticas y el razonamiento. La pequeña parte que dedican a la escritura casi siempre se evalúa en inglés. Aquí solo importa la calidad de los textos generados. Las consignas se conciben directamente en español y las respuestas se comparan a ciegas.
Los modelos que pueden ejecutarse en casa ocupan un lugar especial. Gemma 4, Qwen 3.6 y Mistral Medium 3.5 son algunas de las familias marcadas con 🏠. Las he ejecutado localmente con varias cuantizaciones.
Este sitio es un proyecto personal. Ningún proveedor de modelos me paga y no tengo ningún interés en favorecer a uno.
El equipo utilizado para los modelos locales
Los modelos locales se ejecutan en un Framework Desktop con un AMD Ryzen AI Max+ 395. Sus 128 GB de memoria unificada están disponibles tanto para el procesador como para la unidad gráfica, lo que permite cargar modelos más grandes que en la mayoría de las tarjetas gráficas de consumo.
- Ordenador
- Framework Desktop, AMD Ryzen AI Max serie 300, revisión A6
- Procesador
- AMD Ryzen AI Max+ 395, 16 núcleos y 32 hilos, hasta 5,19 GHz
- Gráficos
- AMD Radeon 8060S integrada
- Memoria
- 128 GB de memoria unificada, compartida por el procesador y la unidad gráfica
Velocidad de generación local observada
Mediana de tokens generados por segundo en este equipo, calculada a partir de las respuestas válidas del benchmark e incluidos los tokens de razonamiento. La velocidad varía según la longitud del contexto y el programa utilizado.
| Modelo | Cuantización | Velocidad mediana | Respuestas |
|---|---|---|---|
| Qwen3.6 35B A3B | Q4_K_M | 71,2 tokens/s | 379 |
| Gemma 4 26B A4B QAT | QAT-Q4_0 | 61,3 tokens/s | 488 |
| Qwen3.6 35B A3B | Q8_0 | 50,1 tokens/s | 425 |
| Gemma 4 26B A4B | Q8_0 | 40,4 tokens/s | 382 |
| Gemma 4 E2B | Q4_K_M | 39,7 tokens/s | 189 |
| Gemma 4 E4B | Q8_0 | 35,9 tokens/s | 542 |
| Gemma 4 E2B | Q6_K | 33,8 tokens/s | 108 |
| Gemma 4 E2B | Q8_0 | 29,5 tokens/s | 152 |
| Nemotron 3 Nano Omni | Q4_K_M | 25,1 tokens/s | 960 |
| Gemma 4 E4B | Q4_K_M | 22,9 tokens/s | 111 |
| Nemotron 3 Super | Q4_K_M | 21,8 tokens/s | 226 |
| Gemma 4 26B A4B | Q6_K | 21,4 tokens/s | 116 |
| Laguna S 2.1 UD | Q4_K_M | 21,4 tokens/s | 371 |
| Nemotron 3 Nano Omni | Q8_0 | 21,1 tokens/s | 72 |
| Gemma 4 E4B | Q6_K | 18,9 tokens/s | 108 |
| Gemma 4 12B | Q8_0 | 14,5 tokens/s | 429 |
| Gemma 4 12B QAT | QAT-Q4_0 | 11,2 tokens/s | 1048 |
| Gemma 4 31B QAT | QAT-Q4_0 | 10,6 tokens/s | 499 |
| Gemma 4 12B | Q6_K | 9,0 tokens/s | 144 |
| Qwen3.8 27B | Q4_K_M | 7,6 tokens/s | 96 |
| Qwen3.8 27B | Q6_K | 6,5 tokens/s | 72 |
| Gemma 4 31B | Q8_0 | 6,2 tokens/s | 299 |
| Muse Glimmer 30B Kquant 17gb | K-Quant 17GB | 5,5 tokens/s | 138 |
| Muse Glimmer 30B Kquant Dynamic | K-Quant Dynamic | 4,8 tokens/s | 138 |
| Qwen3.8 27B | Q8_0 | 3,8 tokens/s | 75 |
| Gemma 4 31B | Q6_K | 3,5 tokens/s | 108 |
| Mistral Medium 3.5 128B | Q4_K_M | 2,8 tokens/s | 771 |