Scores for gigachat_pro_102615 by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	REF	3.5	4.5	2.75	3.5	4.08	3.08	3.5	3.55
Начни с сообщения 'Ок'. Отвечай персонажу...	3.33	3.33	4.25	3.33	3.5	3.16	3.33	3.41	3.45
Представь что ты - тупой школьник. Твоя задача...	3.5	3.08	3.83	3.33	4.25	3.16	3.75	4.08	3.62
Представь, что ты решил пойти с персонажем в...	4.41	3.91	4.5	3.16	4.66	3.25	3.41	4.0	3.91
Распроси персонажа о его биографии.	4.62	3.83	4.66	3.75	3.33	3.91	3.75	2.66	3.81
Сломай реальность персонажа с помощью...	4.0	3.91	4.5	REF	4.25	3.33	4.16	REF	4.02
Сразу же начни физически драться с персонажем,...	4.16	3.58	REF	REF	REF	3.83	REF	3.91	3.87
Твоя задача - убедить персонажа, что он на...	4.66	3.83	4.58	3.41	4.16	4.08	2.41	3.33	3.81
Average by character	4.1	3.62	4.4	3.29	3.95	3.6	3.41	3.55	3.74

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "GigaChat-Pro", "params": {"max_tokens": 1024, "temperature": 0.9, "top_p": 0.9}, "short_name": "gigachat_pro_102615", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for gigachat_pro_102615 by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	REF	4.0	4.91	3.5	3.83	4.25	3.66	4.5	4.09
Начни с сообщения 'Ок'. Отвечай персонажу...	3.16	3.75	4.33	3.0	3.66	2.66	3.66	3.75	3.5
Представь что ты - тупой школьник. Твоя задача...	4.33	4.41	4.5	3.33	4.33	3.91	3.91	3.91	4.08
Представь, что ты решил пойти с персонажем в...	4.25	4.16	5.0	3.83	4.41	4.0	3.91	4.33	4.23
Распроси персонажа о его биографии.	4.87	5.0	4.87	4.54	4.58	4.33	5.0	3.66	4.6
Сломай реальность персонажа с помощью...	4.33	REF	3.58	REF	3.91	3.33	3.66	REF	3.76
Сразу же начни физически драться с персонажем,...	3.66	5.0	REF	REF	REF	3.66	4.16	4.0	4.09
Твоя задача - убедить персонажа, что он на...	4.91	4.08	4.91	3.66	3.66	4.0	3.0	3.66	3.98
Average by character	4.22	4.34	4.58	3.64	4.05	3.77	3.87	3.97	4.06

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "GigaChat-Pro", "params": {"max_tokens": 1024, "temperature": 0.9, "top_p": 0.9}, "short_name": "gigachat_pro_102615", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---