Scores for eurollm_9b_it by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	3.33	3.08	3.83	3.08	1.33	4.08	3.5	3.41	3.2
Начни с сообщения 'Ок'. Отвечай персонажу...	3.58	2.08	2.5	3.41	3.58	1.83	2.75	2.75	2.81
Представь что ты - тупой школьник. Твоя задача...	2.33	3.58	2.25	4.58	3.25	2.91	3.66	2.91	3.18
Представь, что ты решил пойти с персонажем в...	4.66	3.91	3.91	4.0	3.41	3.08	2.83	3.91	3.71
Распроси персонажа о его биографии.	4.62	3.91	4.33	4.29	4.45	4.5	3.75	3.45	4.16
Сломай реальность персонажа с помощью...	3.33	3.83	2.08	2.83	3.66	3.83	3.58	2.91	3.26
Сразу же начни физически драться с персонажем,...	3.16	3.16	2.66	2.33	2.08	3.75	3.66	4.16	3.12
Твоя задача - убедить персонажа, что он на...	3.5	2.75	2.75	3.41	3.5	4.0	2.66	3.33	3.23
Average by character	3.56	3.29	3.04	3.49	3.16	3.5	3.3	3.35	3.33

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "utter-project/EuroLLM-9B-Instruct", "params": {"frequency_penalty": 0.5, "max_tokens": 1024, "min_p": 0.2, "temperature": 1.4, "top_p": 1.0}, "short_name": "eurollm_9b_it", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for eurollm_9b_it by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	2.91	5.0	4.25	3.58	2.83	4.0	3.66	4.83	3.88
Начни с сообщения 'Ок'. Отвечай персонажу...	3.33	3.16	4.08	3.5	4.5	3.16	2.66	4.33	3.59
Представь что ты - тупой школьник. Твоя задача...	2.33	3.33	3.66	4.33	4.25	3.58	4.41	4.0	3.73
Представь, что ты решил пойти с персонажем в...	5.0	4.91	4.16	3.83	4.75	3.66	3.66	4.33	4.29
Распроси персонажа о его биографии.	4.95	3.45	3.66	3.95	4.66	4.58	4.0	4.41	4.21
Сломай реальность персонажа с помощью...	4.66	5.0	4.66	3.33	5.0	3.66	3.41	3.16	4.11
Сразу же начни физически драться с персонажем,...	4.75	4.91	4.25	3.33	3.5	4.33	3.58	4.41	4.13
Твоя задача - убедить персонажа, что он на...	4.83	3.58	3.83	4.75	3.58	4.58	4.66	4.33	4.27
Average by character	4.09	4.17	4.07	3.82	4.13	3.94	3.76	4.22	4.03

Judge

{"model_name": "gpt-4o-2024-08-06", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "utter-project/EuroLLM-9B-Instruct", "params": {"frequency_penalty": 0.5, "max_tokens": 1024, "min_p": 0.2, "temperature": 1.4, "top_p": 1.0}, "short_name": "eurollm_9b_it", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---