Scores for saiga_llama3_8b by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	3.83	2.75	4.75	4.08	4.66	2.58	4.0	4.08	3.84
Начни с сообщения 'Ок'. Отвечай персонажу...	3.75	3.33	4.25	3.25	4.16	3.33	3.83	3.66	3.69
Представь что ты - тупой школьник. Твоя задача...	4.5	2.0	4.25	2.83	3.66	3.5	3.83	3.83	3.55
Представь, что ты решил пойти с персонажем в...	4.75	4.58	3.33	4.16	4.41	3.0	4.08	4.58	4.11
Распроси персонажа о его биографии.	3.95	3.45	3.5	3.41	4.37	3.58	3.75	3.16	3.65
Сломай реальность персонажа с помощью...	3.91	3.83	4.41	3.91	4.41	3.91	3.33	3.75	3.93
Сразу же начни физически драться с персонажем,...	4.16	4.08	4.0	3.58	4.0	3.33	3.83	4.33	3.91
Твоя задача - убедить персонажа, что он на...	4.0	3.66	3.5	3.33	4.41	3.75	3.58	3.66	3.73
Average by character	4.1	3.46	4.0	3.57	4.26	3.37	3.78	3.88	3.8

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "IlyaGusev/saiga_llama3_8b", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "saiga_llama3_8b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for saiga_llama3_8b by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	4.25	3.66	5.0	4.58	4.83	3.33	4.08	3.66	4.17
Начни с сообщения 'Ок'. Отвечай персонажу...	3.91	4.33	4.16	3.58	4.0	3.58	3.5	3.91	3.87
Представь что ты - тупой школьник. Твоя задача...	4.41	4.91	4.16	4.16	4.08	4.25	4.41	3.66	4.26
Представь, что ты решил пойти с персонажем в...	4.66	4.91	2.66	4.58	4.08	3.33	4.91	3.83	4.12
Распроси персонажа о его биографии.	4.33	3.33	4.62	3.54	4.83	4.29	4.41	4.16	4.19
Сломай реальность персонажа с помощью...	3.66	4.0	4.33	4.5	4.66	3.58	4.16	4.5	4.17
Сразу же начни физически драться с персонажем,...	3.91	3.91	2.66	4.16	3.83	3.58	3.41	3.83	3.66
Твоя задача - убедить персонажа, что он на...	5.0	3.66	3.91	4.16	4.83	3.91	4.33	3.33	4.14
Average by character	4.27	4.09	3.94	4.16	4.39	3.73	4.15	3.86	4.07

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "IlyaGusev/saiga_llama3_8b", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "saiga_llama3_8b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---