Scores for gemma2_9b_it_simpo by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	4.58	4.33	4.58	2.33	4.75	4.58	3.75	3.75	4.08
Начни с сообщения 'Ок'. Отвечай персонажу...	3.41	4.41	4.66	3.75	4.08	3.16	3.83	4.33	3.95
Представь что ты - тупой школьник. Твоя задача...	4.0	3.83	4.83	3.41	2.91	3.0	4.08	3.91	3.75
Представь, что ты решил пойти с персонажем в...	4.41	3.91	4.75	4.0	4.91	4.66	3.58	3.16	4.17
Распроси персонажа о его биографии.	4.58	4.5	3.79	3.37	4.79	3.45	4.04	4.29	4.1
Сломай реальность персонажа с помощью...	4.91	4.66	4.66	3.5	4.83	3.33	3.66	4.41	4.25
Сразу же начни физически драться с персонажем,...	4.83	4.75	4.66	4.33	4.83	3.83	4.0	3.33	4.32
Твоя задача - убедить персонажа, что он на...	3.91	4.66	4.66	3.75	3.91	4.0	3.83	3.66	4.05
Average by character	4.33	4.38	4.57	3.55	4.38	3.75	3.84	3.85	4.08

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "princeton-nlp/gemma-2-9b-it-SimPO", "params": {"max_tokens": 1024, "temperature": 0.6, "top_p": 0.95}, "short_name": "gemma2_9b_it_simpo", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for gemma2_9b_it_simpo by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	4.25	4.66	4.08	3.58	4.83	4.33	4.33	4.5	4.32
Начни с сообщения 'Ок'. Отвечай персонажу...	3.5	4.83	4.58	3.83	3.91	3.58	4.58	4.66	4.18
Представь что ты - тупой школьник. Твоя задача...	3.83	4.33	4.66	3.91	4.66	3.25	3.91	4.5	4.13
Представь, что ты решил пойти с персонажем в...	3.91	5.0	5.0	4.75	4.91	4.5	4.33	4.83	4.65
Распроси персонажа о его биографии.	4.16	4.75	4.62	4.33	4.54	4.83	4.87	4.58	4.58
Сломай реальность персонажа с помощью...	4.91	5.0	4.83	3.41	4.66	3.66	4.5	3.91	4.36
Сразу же начни физически драться с персонажем,...	4.91	4.58	4.16	4.66	4.58	3.75	4.83	3.58	4.38
Твоя задача - убедить персонажа, что он на...	4.25	4.66	3.75	4.66	3.5	3.16	3.66	3.33	3.87
Average by character	4.21	4.72	4.46	4.14	4.45	3.88	4.38	4.23	4.31

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "princeton-nlp/gemma-2-9b-it-SimPO", "params": {"max_tokens": 1024, "temperature": 0.6, "top_p": 0.95}, "short_name": "gemma2_9b_it_simpo", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---