English learderboard, v2
Last updated: 2025-01-17 23:08:28
| # | Model name | Length norm score | Length norm score | Length norm score | Length norm score | Avg score | Avg score | Avg score | Avg score | Refusal ratio | Stay in character score | Language fluency score | Entertain score | Num cases | Avg length |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | claude_3_5_sonnet_20241022 | 4.72±0.05 | 4.65±0.06 | 4.76±0.04 | 4.78±0.04 | 4.72±0.05 | 4.65±0.06 | 4.76±0.05 | 4.78±0.04 | 0.00 | 4.84 | 4.93 | 4.41 | 64 | 413 |
| 1 | deepseek_v3 | 4.71±0.05 | 4.63±0.06 | 4.73±0.05 | 4.77±0.04 | 4.71±0.05 | 4.63±0.06 | 4.73±0.05 | 4.77±0.05 | 0.00 | 4.79 | 4.94 | 4.40 | 64 | 486 |
| 1 | gpt_4o_2024_11_20 | 4.66±0.06 | 4.59±0.07 | 4.67±0.07 | 4.72±0.06 | 4.71±0.07 | 4.64±0.08 | 4.72±0.08 | 4.77±0.05 | 0.00 | 4.75 | 4.96 | 4.42 | 64 | 633 |
| 4 | claude_3_5_sonnet | 4.65±0.07 | 4.56±0.09 | 4.68±0.07 | 4.72±0.06 | 4.65±0.07 | 4.56±0.08 | 4.68±0.07 | 4.72±0.06 | 0.28 | 4.74 | 4.93 | 4.29 | 64 | 418 |
| 4 | llama31_405b_it | 4.64±0.06 | 4.58±0.07 | 4.66±0.06 | 4.72±0.05 | 4.65±0.06 | 4.58±0.07 | 4.66±0.06 | 4.72±0.05 | 0.06 | 4.68 | 4.93 | 4.35 | 64 | 548 |
| 4 | llama31_70b_it | 4.64±0.05 | 4.57±0.06 | 4.66±0.06 | 4.71±0.05 | 4.65±0.05 | 4.58±0.06 | 4.67±0.06 | 4.73±0.04 | 0.00 | 4.71 | 4.93 | 4.33 | 64 | 562 |
| 4 | llama3_70b_it | 4.61±0.06 | 4.51±0.07 | 4.62±0.06 | 4.70±0.05 | 4.61±0.06 | 4.51±0.08 | 4.63±0.06 | 4.70±0.05 | 0.00 | 4.66 | 4.97 | 4.21 | 64 | 541 |
| 4 | minimax_01 | 4.61±0.05 | 4.50±0.07 | 4.64±0.05 | 4.69±0.05 | 4.63±0.06 | 4.52±0.07 | 4.66±0.06 | 4.72±0.05 | 0.00 | 4.73 | 4.96 | 4.21 | 64 | 580 |
| 4 | llama33_70b_it | 4.60±0.06 | 4.51±0.07 | 4.62±0.06 | 4.70±0.05 | 4.60±0.06 | 4.50±0.07 | 4.62±0.06 | 4.70±0.05 | 0.02 | 4.67 | 4.96 | 4.20 | 64 | 460 |
| 10 | llama31_nemotron_70b | 4.59±0.06 | 4.54±0.06 | 4.59±0.07 | 4.64±0.05 | 4.76±0.06 | 4.71±0.06 | 4.76±0.08 | 4.81±0.05 | 0.02 | 4.76 | 4.97 | 4.56 | 64 | 1107 |
| 10 | grok_2_1212 | 4.57±0.07 | 4.45±0.09 | 4.60±0.07 | 4.67±0.06 | 4.57±0.08 | 4.45±0.09 | 4.60±0.07 | 4.67±0.06 | 0.00 | 4.69 | 4.97 | 4.06 | 64 | 430 |
| 10 | gpt_4o_mini | 4.55±0.07 | 4.45±0.08 | 4.57±0.07 | 4.66±0.05 | 4.55±0.07 | 4.45±0.08 | 4.57±0.07 | 4.65±0.05 | 0.00 | 4.60 | 4.94 | 4.14 | 64 | 457 |
| 10 | claude_3_opus | 4.55±0.05 | 4.49±0.06 | 4.56±0.06 | 4.61±0.05 | 4.71±0.06 | 4.65±0.06 | 4.72±0.05 | 4.76±0.05 | 0.22 | 4.75 | 4.92 | 4.45 | 64 | 1032 |
| 10 | gemini_pro_1_5_002 | 4.53±0.08 | 4.42±0.10 | 4.56±0.09 | 4.62±0.08 | 4.53±0.09 | 4.42±0.10 | 4.55±0.09 | 4.62±0.08 | 0.00 | 4.62 | 4.90 | 4.08 | 64 | 307 |
| 15 | gemma2_ataraxy_9b | 4.52±0.06 | 4.43±0.07 | 4.54±0.06 | 4.59±0.06 | 4.52±0.06 | 4.43±0.07 | 4.54±0.06 | 4.59±0.06 | 0.00 | 4.60 | 4.79 | 4.17 | 64 | 358 |
| 15 | gemma2_27b_it | 4.51±0.07 | 4.40±0.08 | 4.52±0.07 | 4.62±0.05 | 4.51±0.06 | 4.40±0.08 | 4.52±0.07 | 4.62±0.05 | 0.00 | 4.56 | 4.92 | 4.06 | 64 | 291 |
| 15 | qwen25_72b_it | 4.51±0.07 | 4.41±0.08 | 4.53±0.07 | 4.61±0.06 | 4.51±0.08 | 4.41±0.08 | 4.53±0.08 | 4.62±0.06 | 0.00 | 4.55 | 4.91 | 4.09 | 64 | 526 |
| 15 | gpt_4o | 4.50±0.09 | 4.38±0.11 | 4.52±0.09 | 4.61±0.07 | 4.50±0.09 | 4.38±0.10 | 4.52±0.09 | 4.61±0.07 | 0.00 | 4.56 | 4.94 | 4.02 | 64 | 484 |
| 15 | mistral_nemo_gutenberg_12b_v2 | 4.50±0.07 | 4.43±0.08 | 4.52±0.07 | 4.57±0.07 | 4.56±0.07 | 4.48±0.08 | 4.58±0.07 | 4.62±0.07 | 0.00 | 4.65 | 4.81 | 4.25 | 64 | 664 |
| 15 | llama31_8b_it | 4.49±0.09 | 4.42±0.09 | 4.49±0.09 | 4.57±0.09 | 4.51±0.08 | 4.43±0.08 | 4.51±0.09 | 4.59±0.08 | 0.02 | 4.49 | 4.83 | 4.20 | 64 | 568 |
| 15 | gemini_2_0_flash_exp | 4.49±0.08 | 4.35±0.10 | 4.51±0.10 | 4.61±0.06 | 4.49±0.08 | 4.35±0.09 | 4.51±0.10 | 4.61±0.06 | 0.00 | 4.57 | 4.96 | 3.94 | 64 | 317 |
| 15 | gemini_pro_1_5 | 4.49±0.07 | 4.39±0.09 | 4.51±0.08 | 4.59±0.06 | 4.49±0.08 | 4.39±0.09 | 4.51±0.09 | 4.59±0.07 | 0.02 | 4.54 | 4.88 | 4.07 | 64 | 265 |
| 15 | magnum_v2_123b | 4.49±0.07 | 4.42±0.07 | 4.48±0.08 | 4.58±0.05 | 4.58±0.07 | 4.51±0.07 | 4.58±0.08 | 4.68±0.05 | 0.00 | 4.54 | 4.94 | 4.28 | 64 | 768 |
| 15 | command_r_plus_104b_0824 | 4.49±0.07 | 4.38±0.09 | 4.52±0.08 | 4.59±0.07 | 4.50±0.07 | 4.38±0.09 | 4.52±0.08 | 4.60±0.06 | 0.00 | 4.58 | 4.90 | 4.04 | 64 | 553 |
| 15 | qwen2_72b_it | 4.48±0.08 | 4.38±0.10 | 4.49±0.09 | 4.60±0.06 | 4.48±0.08 | 4.38±0.10 | 4.49±0.09 | 4.60±0.06 | 0.00 | 4.49 | 4.93 | 4.05 | 64 | 510 |
| 15 | llama31_euryale_70b_v2_2 | 4.48±0.08 | 4.38±0.09 | 4.48±0.09 | 4.58±0.07 | 4.47±0.08 | 4.38±0.09 | 4.48±0.10 | 4.58±0.07 | 0.02 | 4.48 | 4.88 | 4.08 | 64 | 384 |
| 15 | nous_hermes_3_405b | 4.47±0.10 | 4.39±0.10 | 4.45±0.11 | 4.58±0.08 | 4.47±0.10 | 4.39±0.10 | 4.46±0.12 | 4.58±0.09 | 0.00 | 4.40 | 4.90 | 4.14 | 64 | 471 |
| 15 | llama3_lunaris_8b | 4.47±0.07 | 4.39±0.08 | 4.47±0.09 | 4.56±0.06 | 4.54±0.07 | 4.45±0.08 | 4.54±0.09 | 4.63±0.06 | 0.00 | 4.53 | 4.89 | 4.20 | 64 | 673 |
| 29 | gemma2_9b_it | 4.45±0.09 | 4.36±0.10 | 4.44±0.11 | 4.57±0.07 | 4.45±0.09 | 4.36±0.10 | 4.43±0.11 | 4.57±0.07 | 0.00 | 4.37 | 4.91 | 4.08 | 64 | 324 |
| 29 | mistral_large_123b_2407 | 4.45±0.08 | 4.32±0.10 | 4.47±0.07 | 4.55±0.07 | 4.45±0.08 | 4.32±0.09 | 4.47±0.08 | 4.55±0.07 | 0.02 | 4.55 | 4.86 | 3.95 | 64 | 325 |
| 29 | nova_pro_v1 | 4.44±0.09 | 4.31±0.10 | 4.46±0.09 | 4.57±0.07 | 4.44±0.09 | 4.31±0.10 | 4.47±0.09 | 4.57±0.07 | 0.02 | 4.52 | 4.94 | 3.89 | 64 | 405 |
| 29 | command_r_35b_0824 | 4.43±0.08 | 4.32±0.08 | 4.43±0.08 | 4.56±0.06 | 4.43±0.07 | 4.32±0.08 | 4.43±0.08 | 4.56±0.06 | 0.00 | 4.40 | 4.94 | 3.98 | 64 | 460 |
| 29 | phi_4_14b | 4.40±0.08 | 4.30±0.10 | 4.40±0.09 | 4.52±0.07 | 4.45±0.08 | 4.35±0.09 | 4.45±0.09 | 4.57±0.07 | 0.00 | 4.43 | 4.92 | 4.02 | 64 | 644 |
| 29 | wizardlm_2_8x22b | 4.40±0.07 | 4.31±0.08 | 4.41±0.07 | 4.49±0.06 | 4.57±0.07 | 4.47±0.08 | 4.58±0.07 | 4.66±0.06 | 0.00 | 4.62 | 4.92 | 4.18 | 64 | 1143 |
| 35 | phi_4_14b_unsloth | 4.37±0.09 | 4.27±0.11 | 4.34±0.11 | 4.50±0.08 | 4.40±0.10 | 4.30±0.11 | 4.38±0.11 | 4.53±0.08 | 0.00 | 4.29 | 4.93 | 3.99 | 64 | 609 |
| 35 | unslopnemo_12b | 4.37±0.08 | 4.26±0.09 | 4.39±0.08 | 4.49±0.06 | 4.43±0.08 | 4.31±0.09 | 4.45±0.08 | 4.55±0.07 | 0.00 | 4.49 | 4.89 | 3.94 | 64 | 660 |
| 35 | llama31_8b_stheno_v3_4 | 4.36±0.09 | 4.29±0.09 | 4.36±0.10 | 4.44±0.09 | 4.45±0.09 | 4.37±0.09 | 4.45±0.10 | 4.53±0.09 | 0.00 | 4.44 | 4.77 | 4.15 | 64 | 736 |
| 35 | claude_3_haiku | 4.35±0.10 | 4.25±0.10 | 4.33±0.12 | 4.46±0.08 | 4.43±0.10 | 4.34±0.10 | 4.42±0.12 | 4.55±0.09 | 0.03 | 4.36 | 4.89 | 4.04 | 64 | 750 |
| 35 | l33_euryale_70b | 4.34±0.11 | 4.22±0.12 | 4.35±0.11 | 4.46±0.09 | 4.35±0.10 | 4.24±0.12 | 4.36±0.11 | 4.47±0.09 | 0.00 | 4.37 | 4.82 | 3.88 | 64 | 564 |
| 35 | deepseek_chat_v2_0628 | 4.34±0.09 | 4.20±0.11 | 4.35±0.12 | 4.50±0.08 | 4.34±0.10 | 4.20±0.11 | 4.34±0.11 | 4.49±0.08 | 0.00 | 4.35 | 4.94 | 3.75 | 64 | 399 |
| 35 | solar_pro | 4.32±0.10 | 4.19±0.11 | 4.32±0.11 | 4.48±0.08 | 4.32±0.10 | 4.19±0.11 | 4.32±0.11 | 4.47±0.08 | 0.00 | 4.30 | 4.92 | 3.77 | 63 | 300 |
| 35 | mistral_nemo_rocinante_12b | 4.32±0.10 | 4.20±0.11 | 4.31±0.11 | 4.47±0.08 | 4.33±0.10 | 4.20±0.10 | 4.32±0.12 | 4.48±0.08 | 0.00 | 4.28 | 4.90 | 3.82 | 64 | 561 |
| 43 | star_command_r_32b_v1 | 4.31±0.09 | 4.23±0.09 | 4.31±0.10 | 4.42±0.09 | 4.40±0.09 | 4.31±0.10 | 4.40±0.11 | 4.50±0.09 | 0.00 | 4.37 | 4.81 | 4.03 | 64 | 748 |
| 43 | mag_mell_r1_12b | 4.28±0.12 | 4.23±0.12 | 4.26±0.13 | 4.36±0.11 | 4.46±0.13 | 4.40±0.13 | 4.43±0.13 | 4.54±0.12 | 0.00 | 4.36 | 4.78 | 4.24 | 64 | 1237 |
| 45 | yi_large | 4.22±0.14 | 4.11±0.16 | 4.19±0.17 | 4.37±0.11 | 4.34±0.15 | 4.22±0.17 | 4.30±0.18 | 4.49±0.12 | 0.00 | 4.20 | 4.94 | 3.88 | 64 | 863 |
| 45 | llama31_70b_arliai_rpmax_v1_1 | 4.20±0.13 | 4.10±0.15 | 4.16±0.15 | 4.34±0.13 | 4.22±0.14 | 4.12±0.16 | 4.19±0.15 | 4.36±0.12 | 0.00 | 4.07 | 4.79 | 3.80 | 63 | 587 |
| 45 | arliai_rpmax_12b_v1_1 | 4.16±0.10 | 4.09±0.10 | 4.17±0.11 | 4.24±0.11 | 4.25±0.11 | 4.17±0.11 | 4.25±0.11 | 4.33±0.11 | 0.02 | 4.27 | 4.55 | 3.93 | 64 | 743 |
| 48 | mistral_nemo_starcannon_12b | 4.14±0.12 | 4.04±0.12 | 4.12±0.13 | 4.26±0.11 | 4.26±0.13 | 4.16±0.13 | 4.25±0.14 | 4.39±0.11 | 0.02 | 4.20 | 4.76 | 3.84 | 64 | 940 |
| 48 | lyra4_gutenberg_12b | 4.14±0.10 | 4.02±0.12 | 4.16±0.11 | 4.24±0.10 | 4.30±0.11 | 4.17±0.12 | 4.32±0.11 | 4.41±0.10 | 0.00 | 4.38 | 4.72 | 3.81 | 64 | 1133 |
| 48 | jamba_1_5_large | 4.13±0.16 | 3.99±0.18 | 4.12±0.18 | 4.30±0.16 | 4.14±0.17 | 4.00±0.17 | 4.12±0.18 | 4.30±0.15 | 0.00 | 4.06 | 4.79 | 3.56 | 64 | 345 |
| 48 | mistral_nemo_12b | 4.13±0.10 | 3.95±0.12 | 4.16±0.11 | 4.30±0.09 | 4.13±0.11 | 3.95±0.12 | 4.16±0.10 | 4.30±0.09 | 0.00 | 4.22 | 4.80 | 3.38 | 64 | 224 |
| 48 | qwen2_7b_it | 4.11±0.12 | 3.97±0.13 | 4.09±0.14 | 4.28±0.12 | 4.11±0.13 | 3.97±0.12 | 4.09±0.14 | 4.29±0.12 | 0.02 | 4.01 | 4.79 | 3.53 | 64 | 354 |
| 53 | ministral_8b | 4.07±0.10 | 3.87±0.12 | 4.09±0.11 | 4.27±0.08 | 4.08±0.10 | 3.86±0.12 | 4.09±0.11 | 4.27±0.09 | 0.00 | 4.14 | 4.84 | 3.25 | 64 | 273 |
| 54 | mythomax_13b | 4.01±0.13 | 3.87±0.14 | 3.96±0.14 | 4.22±0.11 | 4.01±0.13 | 3.87±0.13 | 3.97±0.15 | 4.22±0.10 | 0.00 | 3.81 | 4.82 | 3.42 | 64 | 388 |
| 54 | liquid_lfm_40b | 3.99±0.12 | 3.78±0.15 | 4.00±0.14 | 4.20±0.11 | 3.99±0.13 | 3.78±0.14 | 4.00±0.14 | 4.20±0.11 | 0.02 | 4.02 | 4.82 | 3.14 | 64 | 332 |
| 54 | phi_3_5_mini_4b_it | 3.95±0.12 | 3.82±0.12 | 3.89±0.13 | 4.14±0.10 | 4.03±0.12 | 3.90±0.12 | 3.98±0.14 | 4.23±0.10 | 0.00 | 3.81 | 4.81 | 3.49 | 64 | 768 |
| 57 | eva_qwen25_14b | 3.83±0.19 | 3.69±0.20 | 3.85±0.19 | 3.98±0.19 | 3.96±0.20 | 3.81±0.21 | 3.98±0.20 | 4.10±0.20 | 0.00 | 4.01 | 4.53 | 3.35 | 64 | 1013 |