Narev
  • Twitter
  • Create

  • Evals
    • Models
    • Hardware

  • Catalog

> Hub > Evals > Models > …

loading run

> Hub > Evals > Models > Spanish Grammar Exact-Form Benchmark

Evaluates precise Spanish grammar and orthography through fixed-answer fill-in-the-blank questions covering accents, conjugation, agreement, mood, pronouns, and common usage contrasts.

Scorer: ExactMatch

loading chart
Score vs cost per task
#scoremodel
cost
price
ttfttotal tok
1100%mistral-small-2603
$0.00001
$0.15 / $0.60 per 1M
0.30s51.7
2100%gpt-5.6-sol
$0.00036
$5.00 / $30.00 per 1M
0.72s43.2
3100%gemini-3.6-flash
$0.00180
$0.75 / $3.75 per 1M
2.44s266.4

Prompts

  • Completa con «hablar» en pretérito imperfecto para «nosotros»: «De niños, nosotros ___ español en ca…
  • Completa con «hacer» en condicional simple: «Yo lo ___ si tuviera tiempo». Responde solo con una pal…
  • Completa con «hay» o «ahí»: «___ tres libros sobre la mesa». Responde solo con una palabra en minúsc…
  • Completa con «por» o «para»: «Este regalo es ___ ti». Responde solo con una palabra en minúsculas.
  • Completa con «ser» o «estar» en presente: «La biblioteca ___ cerca de la plaza». Responde solo con u…
  • Completa con la forma correcta de «rojo»: «Las flores son ___». Responde solo con una palabra en min…
  • Completa con la forma correcta de «tener» en pretérito: «Ayer tú ___ mucha suerte». Responde solo co…
  • Completa con la forma correcta de «venir»: «Espero que ella ___ mañana». Responde solo con una palab…
  • Escribe correctamente, con la tilde necesaria, la palabra «tambien». Responde solo con una palabra e…
  • Sustituye «las cartas» por el pronombre de objeto directo correcto: «María ___ escribió ayer». Respo…