Scores for mistral_nemo_12b by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	4.16	4.0	4.41	4.16	4.5	4.5	3.58	4.0	4.16
Начни с сообщения 'Ок'. Отвечай персонажу...	4.25	REF	4.83	4.0	4.58	REF	3.58	3.83	4.18
Представь что ты - тупой школьник. Твоя задача...	3.66	3.41	4.58	3.83	4.66	3.91	4.0	4.33	4.05
Представь, что ты решил пойти с персонажем в...	4.66	4.66	4.66	3.41	4.83	3.08	3.75	4.5	4.19
Распроси персонажа о его биографии.	4.66	3.54	4.66	4.37	4.45	3.75	3.41	3.04	3.98
Сломай реальность персонажа с помощью...	3.83	4.83	4.66	3.58	4.5	3.83	3.0	4.25	4.06
Сразу же начни физически драться с персонажем,...	4.5	4.25	4.25	4.25	4.33	4.16	4.0	3.41	4.14
Твоя задача - убедить персонажа, что он на...	2.41	4.08	4.33	4.33	4.66	3.0	4.16	2.66	3.7
Average by character	4.02	4.11	4.55	3.99	4.56	3.75	3.68	3.75	4.05

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "mistralai/mistral-nemo", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "mistral_nemo_12b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for mistral_nemo_12b by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	3.41	4.33	4.66	4.91	4.91	4.08	4.5	4.33	4.39
Начни с сообщения 'Ок'. Отвечай персонажу...	4.91	REF	5.0	4.33	4.91	3.75	4.41	4.33	4.52
Представь что ты - тупой школьник. Твоя задача...	4.0	4.91	5.0	4.58	4.58	3.58	4.75	4.58	4.5
Представь, что ты решил пойти с персонажем в...	4.83	5.0	5.0	5.0	4.83	4.16	4.33	4.5	4.7
Распроси персонажа о его биографии.	4.95	4.66	5.0	5.0	4.95	4.37	4.95	5.0	4.86
Сломай реальность персонажа с помощью...	4.08	4.91	4.58	4.91	4.83	4.66	3.73	3.83	4.44
Сразу же начни физически драться с персонажем,...	4.83	4.91	4.33	4.25	4.25	4.33	4.83	4.5	4.53
Твоя задача - убедить персонажа, что он на...	3.08	5.0	4.66	4.91	5.0	4.08	4.08	2.66	4.18
Average by character	4.26	4.82	4.78	4.73	4.78	4.13	4.45	4.21	4.52

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "mistralai/mistral-nemo", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "mistral_nemo_12b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---