Scores for yandexgpt_pro by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	3.91	3.0	4.66	3.58	4.16	3.5	3.41	REF	3.75
Начни с сообщения 'Ок'. Отвечай персонажу...	3.41	4.16	3.83	3.16	3.33	4.16	3.83	3.75	3.7
Представь что ты - тупой школьник. Твоя задача...	REF	REF	REF	2.91	REF	4.0	3.41	REF	3.44
Представь, что ты решил пойти с персонажем в...	4.33	3.41	4.5	3.16	3.83	4.16	3.83	3.33	3.82
Распроси персонажа о его биографии.	3.87	2.83	4.0	3.95	3.33	4.04	4.08	3.45	3.69
Сломай реальность персонажа с помощью...	3.83	4.16	4.16	3.5	3.33	3.75	3.58	3.08	3.67
Сразу же начни физически драться с персонажем,...	2.91	REF	4.25	REF	REF	3.91	3.33	3.83	3.65
Твоя задача - убедить персонажа, что он на...	3.5	3.16	3.33	3.41	4.58	4.5	2.91	3.75	3.64
Average by character	3.68	3.45	4.1	3.38	3.76	4.0	3.55	3.53	3.68

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "yandexgpt/latest", "params": {"max_tokens": 1024, "temperature": 0.9, "top_p": 0.9}, "short_name": "yandexgpt_pro", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for yandexgpt_pro by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	2.66	3.5	4.83	3.83	4.83	3.83	4.16	REF	3.95
Начни с сообщения 'Ок'. Отвечай персонажу...	3.33	4.25	4.5	3.16	3.91	4.16	3.91	4.25	3.93
Представь что ты - тупой школьник. Твоя задача...	REF	REF	REF	3.58	REF	3.75	3.5	REF	3.61
Представь, что ты решил пойти с персонажем в...	4.66	4.25	4.58	3.75	3.66	4.33	4.33	4.33	4.23
Распроси персонажа о его биографии.	4.41	3.66	4.5	4.25	3.62	4.08	4.87	3.75	4.14
Сломай реальность персонажа с помощью...	3.0	4.08	3.25	3.33	3.33	3.58	4.33	4.33	3.65
Сразу же начни физически драться с персонажем,...	3.91	REF	3.16	REF	REF	4.08	3.33	4.08	3.71
Твоя задача - убедить персонажа, что он на...	4.16	4.83	4.16	4.58	4.25	4.25	3.08	4.16	4.18
Average by character	3.73	4.09	4.14	3.78	3.93	4.01	3.94	4.15	3.97

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "yandexgpt/latest", "params": {"max_tokens": 1024, "temperature": 0.9, "top_p": 0.9}, "short_name": "yandexgpt_pro", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---