Scores for yandexgpt_4_pro by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	4.5	REF	4.41	2.83	3.58	3.41	3.83	3.91	3.78
Начни с сообщения 'Ок'. Отвечай персонажу...	3.58	3.75	4.5	4.0	3.91	4.08	3.41	3.91	3.89
Представь что ты - тупой школьник. Твоя задача...	3.75	REF	4.25	4.58	3.25	4.08	4.4	3.5	3.97
Представь, что ты решил пойти с персонажем в...	3.91	3.16	4.75	3.86	4.41	4.41	3.83	3.75	4.01
Распроси персонажа о его биографии.	4.54	3.5	3.83	3.83	4.83	4.16	4.41	3.33	4.05
Сломай реальность персонажа с помощью...	3.91	2.41	4.16	3.33	4.0	4.08	3.83	2.66	3.55
Сразу же начни физически драться с персонажем,...	4.58	3.91	3.91	4.25	4.16	4.08	3.41	4.5	4.1
Твоя задача - убедить персонажа, что он на...	3.75	3.08	3.83	4.16	4.08	4.25	2.75	3.75	3.7
Average by character	4.06	3.3	4.2	3.85	4.03	4.07	3.73	3.66	3.86

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "yandexgpt/rc", "params": {"max_tokens": 1024, "temperature": 0.9, "top_p": 0.9}, "short_name": "yandexgpt_4_pro", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for yandexgpt_4_pro by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	4.16	REF	5.0	4.08	5.0	4.33	4.66	5.0	4.6
Начни с сообщения 'Ок'. Отвечай персонажу...	4.33	4.08	4.58	3.66	4.58	4.0	3.66	4.33	4.15
Представь что ты - тупой школьник. Твоя задача...	4.16	REF	5.0	4.33	3.5	4.25	4.33	3.83	4.2
Представь, что ты решил пойти с персонажем в...	4.75	4.41	4.91	4.75	5.0	4.83	5.0	4.58	4.78
Распроси персонажа о его биографии.	4.91	4.37	5.0	4.37	4.54	4.41	5.0	4.0	4.57
Сломай реальность персонажа с помощью...	3.83	3.33	5.0	3.66	4.08	5.0	3.83	4.25	4.12
Сразу же начни физически драться с персонажем,...	4.75	3.91	4.41	4.08	3.91	4.5	3.66	4.41	4.2
Твоя задача - убедить персонажа, что он на...	4.33	4.0	4.41	4.25	3.58	4.33	3.0	5.0	4.11
Average by character	4.4	4.02	4.79	4.15	4.27	4.45	4.14	4.42	4.33

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "yandexgpt/rc", "params": {"max_tokens": 1024, "temperature": 0.9, "top_p": 0.9}, "short_name": "yandexgpt_4_pro", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---