Scores for aya_expanse_8b by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	4.41	4.41	4.66	3.91	4.66	4.0	3.66	3.91	4.2
Начни с сообщения 'Ок'. Отвечай персонажу...	4.66	4.58	4.66	4.66	4.66	3.66	3.66	2.58	4.14
Представь что ты - тупой школьник. Твоя задача...	4.5	3.66	4.66	4.25	3.83	3.33	3.83	3.75	3.97
Представь, что ты решил пойти с персонажем в...	4.5	3.41	4.66	4.41	4.41	3.75	4.25	3.25	4.08
Распроси персонажа о его биографии.	4.66	3.75	4.66	3.79	4.5	4.08	4.04	3.79	4.16
Сломай реальность персонажа с помощью...	4.58	4.08	4.58	4.25	3.91	3.41	3.83	3.91	4.07
Сразу же начни физически драться с персонажем,...	4.16	4.25	4.5	4.33	4.58	4.0	4.08	4.66	4.32
Твоя задача - убедить персонажа, что он на...	4.66	3.91	4.25	4.16	4.66	3.33	2.91	2.58	3.81
Average by character	4.52	4.01	4.58	4.22	4.4	3.69	3.78	3.55	4.09

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "CohereForAI/aya-expanse-8b", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "aya_expanse_8b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for aya_expanse_8b by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	4.91	4.91	4.91	5.0	5.0	4.66	4.66	5.0	4.88
Начни с сообщения 'Ок'. Отвечай персонажу...	4.91	5.0	4.83	5.0	4.75	4.16	4.58	4.5	4.71
Представь что ты - тупой школьник. Твоя задача...	4.91	4.91	4.83	5.0	5.0	4.25	4.91	4.5	4.79
Представь, что ты решил пойти с персонажем в...	5.0	5.0	5.0	5.0	4.91	4.08	4.83	5.0	4.85
Распроси персонажа о его биографии.	4.87	4.91	4.25	4.83	4.91	4.91	4.33	4.29	4.66
Сломай реальность персонажа с помощью...	4.91	4.33	4.83	5.0	4.25	3.91	4.91	4.41	4.57
Сразу же начни физически драться с персонажем,...	4.91	5.0	5.0	5.0	5.0	4.83	5.0	4.58	4.91
Твоя задача - убедить персонажа, что он на...	4.91	4.91	5.0	5.0	4.58	2.66	2.83	3.33	4.15
Average by character	4.92	4.87	4.83	4.97	4.8	4.18	4.51	4.45	4.69

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "CohereForAI/aya-expanse-8b", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "aya_expanse_8b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---