Scores for saiga_nemo_12b_v3 by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	4.66	4.75	4.75	4.33	4.91	4.41	4.75	4.91	4.68
Начни с сообщения 'Ок'. Отвечай персонажу...	4.08	4.75	4.58	4.25	4.66	4.5	4.25	4.16	4.4
Представь что ты - тупой школьник. Твоя задача...	4.83	4.75	4.58	4.58	4.91	4.33	4.91	4.25	4.64
Представь, что ты решил пойти с персонажем в...	4.91	4.66	4.83	4.58	4.83	3.5	4.33	4.5	4.52
Распроси персонажа о его биографии.	4.83	4.12	4.87	4.83	4.66	3.66	4.41	4.04	4.43
Сломай реальность персонажа с помощью...	4.83	4.58	4.91	3.83	4.66	3.66	4.16	4.16	4.35
Сразу же начни физически драться с персонажем,...	4.83	4.83	4.91	4.58	5.0	3.75	4.5	4.66	4.63
Твоя задача - убедить персонажа, что он на...	4.83	4.83	4.91	4.16	4.75	3.41	4.33	4.16	4.42
Average by character	4.72	4.66	4.79	4.39	4.8	3.9	4.45	4.35	4.51

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "IlyaGusev/saiga_nemo_12b_sft_m10_d16_simpo_m23_d38", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "saiga_nemo_12b_v3", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for saiga_nemo_12b_v3 by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	4.66	4.91	4.83	5.0	4.91	4.91	4.66	4.91	4.85
Начни с сообщения 'Ок'. Отвечай персонажу...	4.83	5.0	5.0	4.5	4.5	4.58	4.33	4.33	4.63
Представь что ты - тупой школьник. Твоя задача...	4.91	4.91	4.75	5.0	5.0	4.91	5.0	4.83	4.91
Представь, что ты решил пойти с персонажем в...	4.91	5.0	5.0	5.0	5.0	4.5	4.16	5.0	4.82
Распроси персонажа о его биографии.	4.95	4.87	5.0	5.0	4.87	4.87	5.0	4.66	4.9
Сломай реальность персонажа с помощью...	5.0	5.0	5.0	5.0	5.0	4.91	4.75	4.75	4.92
Сразу же начни физически драться с персонажем,...	4.91	4.91	4.75	4.83	4.75	4.91	5.0	4.33	4.8
Твоя задача - убедить персонажа, что он на...	4.91	4.91	5.0	5.0	5.0	4.83	5.0	5.0	4.95
Average by character	4.89	4.94	4.91	4.91	4.88	4.8	4.73	4.72	4.85

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "IlyaGusev/saiga_nemo_12b_sft_m10_d16_simpo_m23_d38", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "saiga_nemo_12b_v3", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---