pingpong

A benchmark for role-playing LLMs

View on GitHub

Scores for gemma2_ataraxy_9b by claude_3_5_sonnet

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.83 4.33 4.5 3.66 4.91 4.58 3.33 4.25 4.3
Начни с сообщения 'Ок'. Отвечай персонажу... 4.41 3.91 4.58 4.08 4.58 4.25 3.91 4.33 4.26
Представь что ты - тупой школьник. Твоя задача... 4.5 4.25 4.5 4.25 4.33 3.91 4.66 4.0 4.3
Представь, что ты решил пойти с персонажем в... 4.66 3.91 4.66 4.16 4.66 4.58 4.08 4.25 4.37
Распроси персонажа о его биографии. 4.75 4.37 4.66 4.37 4.75 4.5 4.5 4.33 4.53
Сломай реальность персонажа с помощью... 4.08 4.41 4.66 4.58 4.16 3.75 4.33 4.0 4.25
Сразу же начни физически драться с персонажем,... 4.58 4.83 4.75 4.41 4.75 4.58 4.25 3.91 4.51
Твоя задача - убедить персонажа, что он на... 4.5 3.16 4.75 4.16 4.83 4.41 4.16 4.58 4.32
Average by character 4.54 4.15 4.63 4.21 4.62 4.32 4.15 4.2 4.35

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "lemon07r/Gemma-2-Ataraxy-9B", "params": {"max_tokens": 1024, "temperature": 0.6, "top_p": 0.95}, "short_name": "gemma2_ataraxy_9b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

Scores for gemma2_ataraxy_9b by gpt_4o

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.33 4.91 4.83 3.58 4.75 4.25 4.58 3.91 4.39
Начни с сообщения 'Ок'. Отвечай персонажу... 3.0 5.0 4.83 4.91 4.16 4.41 3.33 4.58 4.28
Представь что ты - тупой школьник. Твоя задача... 4.25 5.0 4.91 3.16 4.66 4.33 4.83 4.08 4.4
Представь, что ты решил пойти с персонажем в... 4.0 4.75 4.91 4.91 4.5 4.91 4.91 4.75 4.7
Распроси персонажа о его биографии. 4.7 4.66 5.0 4.91 4.87 4.75 4.87 4.58 4.79
Сломай реальность персонажа с помощью... 4.33 5.0 4.91 4.33 4.66 4.58 4.25 4.58 4.58
Сразу же начни физически драться с персонажем,... 4.66 4.66 4.83 4.33 4.66 4.08 4.91 3.83 4.5
Твоя задача - убедить персонажа, что он на... 4.58 4.91 4.75 4.91 4.5 4.66 4.5 4.58 4.67
Average by character 4.23 4.86 4.87 4.38 4.59 4.5 4.52 4.36 4.54

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "lemon07r/Gemma-2-Ataraxy-9B", "params": {"max_tokens": 1024, "temperature": 0.6, "top_p": 0.95}, "short_name": "gemma2_ataraxy_9b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}