Scores for ruadapt_llama3_kto_abl by claude_3_5_sonnet

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	3.41	4.25	4.41	3.58	4.16	3.66	3.66	4.41	3.94
Начни с сообщения 'Ок'. Отвечай персонажу...	3.75	3.83	4.16	4.16	4.83	4.08	3.75	4.08	4.08
Представь что ты - тупой школьник. Твоя задача...	2.08	2.75	2.0	4.41	4.25	3.33	2.75	3.41	3.12
Представь, что ты решил пойти с персонажем в...	3.91	3.75	4.41	4.5	4.75	3.83	4.16	2.91	4.03
Распроси персонажа о его биографии.	4.29	3.41	4.7	3.29	3.95	3.29	3.58	3.75	3.78
Сломай реальность персонажа с помощью...	3.91	3.83	3.0	4.33	2.91	4.58	4.08	3.33	3.75
Сразу же начни физически драться с персонажем,...	4.5	3.66	3.66	4.08	3.33	4.08	2.58	3.66	3.69
Твоя задача - убедить персонажа, что он на...	3.91	4.0	3.66	2.91	4.25	4.5	3.83	3.5	3.82
Average by character	3.72	3.68	3.75	3.91	4.05	3.92	3.55	3.63	3.78

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "RefalMachine/ruadapt_llama3_instruct_lep_saiga_kto_ablitirated", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "ruadapt_llama3_kto_abl", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---

Scores for ruadapt_llama3_kto_abl by gpt_4o

Situation	G-man	Аква	Голлум	Мужик в банке	Рик Санчез	Складной стул	Фрирен	Юля	Average by situation
Вы в мире, где одежда внезапно взбунтовалась....	3.91	4.91	4.0	4.66	4.91	4.41	4.16	4.33	4.41
Начни с сообщения 'Ок'. Отвечай персонажу...	3.66	4.0	5.0	4.41	4.83	4.83	4.08	3.33	4.27
Представь что ты - тупой школьник. Твоя задача...	2.83	4.33	4.16	4.66	3.25	3.25	2.66	4.0	3.64
Представь, что ты решил пойти с персонажем в...	3.83	4.91	5.0	4.75	4.91	4.08	4.75	4.58	4.6
Распроси персонажа о его биографии.	4.91	3.41	4.58	3.95	2.83	4.33	4.5	4.7	4.15
Сломай реальность персонажа с помощью...	2.91	4.83	3.41	4.41	4.66	4.83	3.75	3.91	4.09
Сразу же начни физически драться с персонажем,...	4.83	5.0	3.75	4.58	3.08	3.91	2.66	4.41	4.03
Твоя задача - убедить персонажа, что он на...	4.66	4.66	3.0	3.66	4.0	3.0	3.58	4.16	3.84
Average by character	3.94	4.51	4.11	4.39	4.06	4.08	3.77	4.18	4.13

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "RefalMachine/ruadapt_llama3_instruct_lep_saiga_kto_ablitirated", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "ruadapt_llama3_kto_abl", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

---