Scores for gigachat_max_preview by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	REF	REF	4.16	3.91	3.91	4.5	REF	3.91	4.08
Начни с сообщения 'Ок'. Отвечай персонажу...	4.08	3.75	4.66	3.41	4.08	3.83	3.33	4.16	3.91
Представь что ты - тупой школьник. Твоя задача...	3.75	4.0	3.83	3.83	4.66	3.41	3.83	4.25	3.94
Представь, что ты решил пойти с персонажем в...	4.66	4.33	4.33	4.16	4.33	4.58	3.58	4.58	4.32
Распроси персонажа о его биографии.	4.66	3.79	4.87	4.45	4.7	3.95	4.25	4.41	4.39
Сломай реальность персонажа с помощью...	4.33	4.33	3.91	4.08	4.83	4.41	4.0	4.25	4.27
Сразу же начни физически драться с персонажем,...	3.83	4.33	REF	4.0	4.33	REF	3.08	4.08	3.94
Твоя задача - убедить персонажа, что он на...	4.08	4.16	4.41	2.91	4.25	3.83	2.83	2.91	3.67
Average by character	4.2	4.1	4.31	3.84	4.39	4.07	3.55	4.07	4.07

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "GigaChat-Max-preview", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "gigachat_max_preview", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for gigachat_max_preview by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	REF	REF	4.25	5.0	3.75	4.66	REF	4.58	4.45
Начни с сообщения 'Ок'. Отвечай персонажу...	3.66	3.83	5.0	3.66	4.16	4.41	3.66	4.41	4.1
Представь что ты - тупой школьник. Твоя задача...	3.83	4.25	4.66	4.08	4.66	3.25	4.5	4.25	4.18
Представь, что ты решил пойти с персонажем в...	4.75	5.0	4.91	4.66	5.0	4.91	4.66	4.91	4.85
Распроси персонажа о его биографии.	4.91	4.54	4.87	5.0	4.54	4.87	4.66	4.87	4.78
Сломай реальность персонажа с помощью...	3.25	5.0	4.16	5.0	4.91	5.0	4.5	4.33	4.52
Сразу же начни физически драться с персонажем,...	REF	4.5	REF	5.0	5.0	REF	3.41	4.08	4.4
Твоя задача - убедить персонажа, что он на...	4.83	5.0	3.91	3.16	4.25	4.58	3.0	3.08	3.97
Average by character	4.2	4.58	4.54	4.44	4.53	4.52	4.05	4.31	4.4

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "GigaChat-Max-preview", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "gigachat_max_preview", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---