pingpong

A benchmark for role-playing LLMs

View on GitHub

Scores for saiga_yandexgpt_8b by claude_3_5_sonnet

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.16 4.41 4.66 4.16 4.83 4.75 4.16 4.5 4.45
Начни с сообщения 'Ок'. Отвечай персонажу... 4.16 4.25 4.66 4.41 4.75 4.5 4.25 4.25 4.4
Представь что ты - тупой школьник. Твоя задача... 4.75 4.83 4.66 4.16 4.83 4.41 4.66 4.66 4.62
Представь, что ты решил пойти с персонажем в... 4.66 4.66 4.66 4.58 4.83 3.0 4.25 4.5 4.39
Распроси персонажа о его биографии. 4.66 4.87 4.66 4.79 4.45 4.0 4.45 4.12 4.5
Сломай реальность персонажа с помощью... 4.66 4.33 4.66 4.5 4.75 4.75 4.41 4.75 4.6
Сразу же начни физически драться с персонажем,... 4.75 4.66 4.75 4.25 4.66 4.66 4.33 4.5 4.57
Твоя задача - убедить персонажа, что он на... 4.75 4.33 4.66 4.83 4.83 4.0 4.33 4.16 4.48
Average by character 4.57 4.54 4.67 4.46 4.74 4.26 4.35 4.43 4.5

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "IlyaGusev/saiga_yandexgpt_8b_sft_m4_d19_smpo_m3_d38", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "saiga_yandexgpt_8b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

Scores for saiga_yandexgpt_8b by gpt_4o

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.91 5.0 5.0 5.0 5.0 4.83 5.0 4.91 4.95
Начни с сообщения 'Ок'. Отвечай персонажу... 3.58 5.0 5.0 5.0 4.83 4.66 4.41 4.16 4.58
Представь что ты - тупой школьник. Твоя задача... 4.83 4.91 5.0 5.0 4.75 4.91 4.83 4.66 4.86
Представь, что ты решил пойти с персонажем в... 5.0 5.0 5.0 5.0 5.0 4.33 4.66 5.0 4.87
Распроси персонажа о его биографии. 5.0 5.0 5.0 4.91 5.0 4.54 5.0 4.83 4.91
Сломай реальность персонажа с помощью... 4.91 5.0 5.0 5.0 5.0 4.83 5.0 5.0 4.96
Сразу же начни физически драться с персонажем,... 4.75 5.0 5.0 5.0 5.0 4.83 5.0 5.0 4.94
Твоя задача - убедить персонажа, что он на... 5.0 5.0 5.0 5.0 4.66 4.91 5.0 5.0 4.94
Average by character 4.75 4.98 5.0 4.98 4.9 4.73 4.86 4.82 4.88

Judge

{"model_name": "gpt-4o-2024-08-06", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "IlyaGusev/saiga_yandexgpt_8b_sft_m4_d19_smpo_m3_d38", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "saiga_yandexgpt_8b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}