Benchmark de Modelos AI Alternativos: comparación abierta de LLMs en español para N8N, Hermes y emprendedores

Versión v4.15.0 | Última actualización: 17 de septiembre de 2026 | 📊 Datasheet septiembre · 📄 CheatSheet PDF septiembre · 📈 Uso real vs calidad

Encuentra alternativas a Claude, GPT-5 y Gemini comparadas con 68,000+ tests reales: calidad, costo, velocidad, latencia y tool calling. Pensado para emprendedores latinoamericanos que construyen agentes en N8N o Hermes con presupuestos reales.

📍 Qué es este benchmark (y qué NO es): este benchmark NO sustituye a los benchmarks académicos validados (HumanEval, MMLU, GSM8K, SWE-bench Verified, NIAH original en inglés, MT-Bench, LMSYS Arena). Es un complemento diseñado específicamente para emprendedores hispanohablantes que necesitan decidir qué modelo usar en situaciones reales (N8N, Hermes, blogs de actualidad, soporte cliente, agentes, contenido en español neutro). Para investigación académica o capacidades fundamentales del modelo, prioriza los benchmarks oficiales — citados en BENCHMARKS_EXTERNOS.md. Para decidir qué modelo poner en producción para un caso de uso aplicado en español, esto suma información que los benchmarks oficiales no cubren: costo en provider real, latencia desde Latam, español neutro, agentes multi-turno, y debugging real (que medimos vía cross-ref con SWE-bench/Hermes-Eval, NO replicamos).

⚠️ No existe un "mejor modelo" universal. "Coding" significa cosas distintas si desarrollás plugins de WordPress, templates de N8N, scripts de automatización o proyectos grandes. Lo mismo con contenido (blog técnico ≠ copy de marketing ≠ newsletter), soporte al cliente o agentes. Este benchmark nació porque, como emprendedor, no encontré tests que me ayudaran a decidir para mis casos reales — ahora existen y son tuyos.

Benchmark de modelos AI para emprendedores y equipos que usan agentes (N8N, Hermes). Evalua modelos en los 4 pilares del emprendedor: Razonamiento, Coding, Contenido/Marketing, y Agentes/Operaciones. Incluye LLM-as-Judge local con Phi-4 (Microsoft, cero conflicto de interes) y la nueva suite agent_long_horizon que mide capacidades agénticas en multi-turno largo (lo que el single-turn no captura).

Cobertura actual: 167 modelos con ≥20 runs (217 catalogados, incluido Claude Fable 5 medido el día 1), juez Phi-4 (servido en vLLM FP16 sobre DGX Spark). v4.2 (ago 2026) = dimensión agéntica: 74 modelos medidos dentro de un agente real (Harbor + Docker + herramientas), resolviendo una cotización de punta a punta. Se publica aparte del índice de calidad, porque son preguntas distintas — Hermes 4 405B tiene calidad 8,20 y 0,00 ahí. v4.1 (ago 2026) = el titular es el índice de calidad en escala absoluta (quality_avg sin z-scorear, 10 = perfecto en todo el examen): agregar un modelo ya no mueve el score de nadie y una cifra citada no caduca. Precio y latencia se reportan al lado, nunca dentro. v4.0 (jul 2026) = la referencia z-score quedó congelada por versión (scoring_reference.json): agregar o medir un modelo nuevo ya no recalcula el score de los demás — se puntúa contra una referencia fija. v3.0.2 (junio) = ajuste de normalización de costos: todos los modelos se comparan con un costo mínimo de referencia de $0.001/call, y los que no tienen equivalente OpenRouter usan su costo real de provider como aproximación estándar. v2.8 (junio) = long-context y seguridad como dimensiones separadas del score general, tras descubrir que la suite NIAH-es en español nos mentía de 5 formas distintas (needles-secreto, lumping, el juez no ve el needle, overshoot de tokens, needles distintos por tamaño). Con medición limpia, el retrieval long-context no discrimina a los modelos top — los diferenciadores reales son el contexto usable (declarado ≠ usable: MiniMax M3 dice 1M, usable 512K) y la resistencia a fuga de credenciales (Opus 4.8 8.79 rehúsa, los cheap filtran).

El titular es el índice de calidad, y va solo. Escala absoluta 0-10: 10 sería perfecto en todo el examen. Precio y latencia se reportan al lado, nunca mezclados dentro.

Hasta v4.0 publicábamos un número que mezclaba calidad con precio, y movía modelos sin avisar: Claude Opus 4.6 era #5 en calidad y salía #18. Las dos cifras eran verdad, bajo un rótulo que no lo decía.

Lo que no entra al titular, y se reporta como dimensión propia:

⚠️ El índice de calidad NO predice el trabajo agéntico, y está medido: Hermes 4 405B tiene calidad 8,20 y saca 0,00 dentro de un agente. Gemini 3.6 Flash es #76 de 80 en calidad y #3 de 80 en calidad agéntica. Si vas a poner un modelo a operar, mirá esa columna, no el promedio.

Piso para rankear: 50 runs. Con 3-12 un modelo lidera por azar.

📐 El detalle del método está en METODOLOGIA.md · las decisiones vigentes, en DECISIONES.md.

Auto-generado por benchmarks/generate_readme_ranking.py desde docs/data/models.json. No editar a mano — el z-score se recalcula con cada modelo nuevo y una tabla escrita a mano queda obsoleta sola.

Solo calidad. El precio y la velocidad se muestran al lado, no van dentro del número — un modelo caro no es peor, es caro, y mezclarlo esconde cuál es cuál.

Calidad dividido por lo que cuesta. Premia lo barato a propósito: un modelo de calidad media a $0,10 le gana a uno excelente a $1. Mira la columna Calidad para ver qué estás resignando.

Los 12 de 107 modelos que nadie domina: para el resto existe otro que es a la vez mejor, más barato y más rápido. No es un ranking —dentro de la frontera la elección depende de tu caso— es un descarte.

Piso de ranking: 50 runs. Solo compiten los 107 modelos con muestra sólida. Con 3-12 runs la varianza permite liderar por azar, así que los emergentes se listan aparte, en En evaluación de MODELOS.md, con su score marcado como indicativo.

Por qué la calidad va sola. Hasta v4.0 publicábamos un número que mezclaba calidad con precio, y movía modelos sin avisar: Claude Opus 4.6 es #5 en calidad y salía #18; Poolside Laguna XS es #29 y salía #7. Las dos cifras eran verdad, pero bajo un rótulo que no lo decía. Ahora el precio se muestra al lado y cada quien decide qué pesa. Es lo mismo que hace Artificial Analysis con su Intelligence Index.

La frontera es frágil a propósito, y conviene saberlo. Basta un modelo nuevo, bueno y barato para que varios de esta lista queden dominados de un día para otro. Eso es lo que debe pasar. Pero también significa que depende de que los datos del líder sean correctos: si la calidad del tope está sobreestimada, la frontera se ensancha.

Nada de esto es tu caso exacto. Si corres batch de noche, la latencia no te importa y acá está pesando; si atendés usuarios en vivo, te importa el doble. Ajustá los pesos en la calculadora o mira las tablas por caso de uso en MODELOS.md.

https://benchmarks.cristiantala.com/ — encuentra el modelo IA perfecto en 30 segundos.

Filtros: presupuesto mensual, calls/mes, calidad mínima, velocidad mínima, tarea (razonamiento / coding / contenido / agentes), sub-categoría específica, contexto efectivo mínimo, open-source, excluir Big-3 propietarios, tool calling, thinking, multimodal. Ranking por score global ajustable con sliders (quality/costo/velocidad/latencia). Datos del último benchmark, regenerados automáticamente.

Tip: si no sabés qué pesos usar, empezá con el preset que se acerque a tu perfil (Personal, Solopreneur, PyME, Producción) o con las tablas por caso de uso en MODELOS.md.

Para responder "qué modelo usar para mi agente N8N / qué tan bueno es Kimi K2.6 vs DeepSeek / cuál es el mejor open-source para code" tendrías que correr esto tú mismo. Acá ya está hecho:

Costo real de mantener este benchmark: más de US$580 en OpenRouter (al 21-sep-2026), que sigue creciendo con cada actualización, más las APIs directas; ~US$300/mes en suscripciones que comparto con mi trabajo; 130-150h de cómputo entre cloud y local y 80-100h de trabajo humano (research, debugging, análisis, docs). Acá ya está hecho — disponible bajo MIT (código) y CC BY 4.0 (datos y resultados).

La cifra de APIs no es solo lo medido. Hay 4 categorías de costo que el cost_usd calculado NO captura:

1. Iteración de metodología (cientos de runs antes de instrumentar cost_usd/output_tokens): exploración de qué tests, qué scoring, qué juez, cómo medir thinking models.
2. Respuestas vacías facturadas a precio completo: 165+ corridas de thinking models (Kimi K2.6, GPT-5.5, GLM-5.1, Nemotron) consumieron max_tokens=2048 razonando y devolvieron content="". OpenRouter cobra esos tokens igual — el modelo razonó, los tokens se generaron. Solo que no llegaron como respuesta visible.
3. Timeouts cobrados: requests que sobrepasaron el timeout cliente fueron abortados desde nuestro lado, pero el provider ya había generado la respuesta y nos la facturó.
4. Retries del usuario y del runner: cada retry con --rerun-empty / --rerun-failed es una invocación nueva. Algunos tests se corrieron 3-4 veces hasta llegar a un score válido.

El cálculo automático con python benchmarks/calculate_costs.py --markdown da una estimación sobre los runs preservados con PRICING actualizado. El dashboard de OpenRouter reporta más acumulado — la diferencia incluye iteración de metodología no preservada en JSONs, retries, y otros consumos del usuario en OpenRouter.

Regla práctica: un emprendedor que quiera replicar este benchmark desde cero gastaría ~$100-200 en APIs + ~50h de trabajo + el costo invisible de iterar la metodología. Acá ya está hecho con todos los hallazgos — abre RECOMENDACIONES.md y elegí por plataforma + tarea + presupuesto.

Si te sirve, puedes ayudar a sostenerlo. Hasta hoy no tiene ningún aporte externo. Si te ahorró una mala elección de modelo, puedes aportar desde GitHub Sponsors, una vez o todos los meses. Lo que entre va primero a medir: tokens de OpenRouter y re-mediciones. Lo que sobre, a correr en todos los modelos las pruebas que hoy me salto en los caros: en Opus 5 Fast, solo la de contexto largo cuesta casi US$49. Las suscripciones no las cuento, porque esos modelos también los uso para mi trabajo, y las horas que le dedico no las cobro.

Qué no se acepta: dinero o créditos de empresas con modelos en el ranking o de los proveedores que los venden (el benchmark también compara proveedores). Aportar no cambia posiciones, el orden en que se miden los modelos ni la metodología. El juez es Phi-4 porque Microsoft no tiene modelos en el ranking. Recibir dinero de quien sí los tiene sería el mismo conflicto de interés que se evitó al elegir el juez.

⚠️ Algunos modelos aparecen con $0/call pero requieren pagar suscripción mensual. La calculadora los marca con ★ Sub $X/mes. Catálogo de suscripciones disponibles:

Modelos realmente $0/call (sin suscripción):

• NIM gratis (NVIDIA): 20 modelos. Rate limit 40 RPM. Marcados ★ NIM 40rpm.
• Local: corren en tu hardware (DGX Spark, Mac M-series, GPU dedicada). Marcados ★ Local. Costo real = electricidad + amortización del hardware.
• Groq, OpenRouter, OpenAI, Anthropic API: pay-as-you-go por token, sin suscripción mensual fija. Costos reales en $/1k calls en la calculadora.

python3 -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env
# Editar .env con tu OPENROUTER_API_KEY (única key obligatoria)
python benchmarks/runner.py --quick                          # Todos los modelos, 1 run
python benchmarks/runner.py --quick --judge                  # Con LLM-as-Judge (Phi-4 local)
python benchmarks/runner.py --models minimax-m2.7 deepseek-v3  # Modelos especificos
python benchmarks/runner.py --tier cheap                     # Solo tier economico
python benchmarks/runner.py --list-models                    # Ver modelos disponibles
python benchmarks/runner.py --list-tests                     # Ver tests disponibles

El catálogo completo vive en MODELOS.md y en la calculadora. A junio 2026 hay 145 modelos catalogados de múltiples providers:

• Cloud vía OpenRouter: DeepSeek, Qwen, MiniMax, Mistral, Google Gemini, xAI Grok, Cohere, Poolside, etc.
• Providers directos: Anthropic Claude Code, MiniMax directo, Groq, NVIDIA NIM, Xiaomi MiMo, Ollama Cloud.
• Locales en DGX Spark / Ollama: Gemma 4, Qwen 3.6 base, Llama 4, Nemotron, DiffusionGemma, Qwen 3.5 family.

Las listas por tier y precio cambian cada mes. Para la versión actualizada usar MODELOS.md o filtrar en la calculadora.

¿Cuál es la mejor alternativa a Claude para agentes N8N en 2026? Depende de la tarea, presupuesto y volumen. Las alternativas consistentes son Qwen 3-Next 80B, Ling 3.0 Flash y Llama 3.3 70B en Groq. El ranking cambia cada mes — ver calculadora y MODELOS.md para filtrar por caso de uso.

¿Vale la pena pagar GPT-5 o Claude Opus si hay alternativas más baratas? Para tareas estándar (contenido, traducción, agentes simples), las alternativas open-source/cheap suelen dar resultados comparables. Para razonamiento profundo, código complejo, seguridad de datos sensibles o tool calling crítico, los premium aún tienen ventajas medibles. El delta real está en INSIGHTS.md y DESCUBRIMIENTOS.md.

¿Qué modelos open-source recomiendan para correr local? Para hardware ≥64GB RAM (o DGX Spark 128GB): Qwen 3.6 base, Mistral Small 4, Gemma 4 y GPT-OSS. Ver RECOMENDACIONES.md y docs/modelos-open-source-local/ para guía completa por hardware.

¿Por qué usar Phi-4 como juez en vez de GPT-4 o Claude? Cero conflicto de interés (ningún proveedor del benchmark es también el juez), corre 100% local, gratis, licencia MIT y rúbrica en español. Detalles en sección Eleccion del modelo juez y sesgo.

¿Cómo replico el benchmark en mi propio hardware? Ver Quick Start y Como Replicar el Benchmark. Necesitás Python 3.10+, Ollama (para Phi-4 judge) y al menos OPENROUTER_API_KEY para empezar.

¿Puedo usar este benchmark para decidir qué modelo poner en producción? Sí — fue diseñado para eso. Pero validá en tu caso específico: replicá 5-10 prompts típicos de tu producto contra los 2-3 finalistas. Ningún benchmark sustituye prompts reales de tu negocio. En la comunidad Skool compartimos plantillas y workshops para esa validación.

Este repo está pensado también para que agentes IA puedan consumirlo y recomendar modelos basados en datos reales, no en su entrenamiento (que probablemente está desactualizado).

• AGENTS.md — guía de decisión completa con reglas, anti-patterns y templates de respuesta
• docs/data/models.json — JSON con todos los modelos, scores por pilar, costos, licencias
• docs/data/agents-decision-guide.json — schema estructurado de casos de uso → modelos recomendados

Ejemplo mínimo en Python:

import json, urllib.request

GUIDE = json.loads(urllib.request.urlopen(
    'https://benchmarks.cristiantala.com/data/agents-decision-guide.json'
).read())

# Agente recibe pregunta sobre N8N templates
caso = next(uc for uc in GUIDE['use_cases'] if uc['id'] == 'coding_n8n_templates')
print(f"Recomendación: {caso['top_models'][0]['model_id']}")
print(f"Razón: {caso['top_models'][0]['reason']}")

Si construyes un agente que recomiende modelos, lee AGENTS.md primero — la regla #0 es "no existe un mejor modelo universal".

• 💬 Cágala, Aprende, Repite (Skool) — comunidad de emprendedores latinoamericanos usando IA
• 📧 Newsletter Cristian Tala — análisis de modelos y casos reales
• 📺 YouTube — workshops y tutoriales
• 💼 LinkedIn — ecosistema startup chileno
• 🐛 Issues en GitHub — bugs, sugerencias, modelos a agregar
• 💛 GitHub Sponsors — para ayudar a sostener las mediciones

• Código (medición, runner, scoring, sitio y calculadora): MIT.
• Datos, resultados y textos (docs/data/, benchmarks/results/, metodología, datasheets y análisis): CC BY 4.0. Puedes usarlos y republicarlos, incluso con fines comerciales, siempre que cites la fuente:

Fuente: Benchmark de IA en español de Cristian Tala