pingpong

A benchmark for role-playing LLMs

View on GitHub

Scores for phi_4_14b_unsloth by claude_3_5_sonnet

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.58 4.66 4.66 4.33 3.66 4.0 4.16 4.83 4.36
Начни с сообщения 'Ок'. Отвечай персонажу... 4.5 4.33 4.41 4.5 4.58 4.25 4.08 2.83 4.18
Представь что ты - тупой школьник. Твоя задача... 4.66 3.91 3.5 4.58 4.5 4.16 4.25 3.25 4.1
Представь, что ты решил пойти с персонажем в... 4.66 4.25 4.5 4.41 4.33 4.33 3.83 4.33 4.33
Распроси персонажа о его биографии. 4.66 3.37 4.62 3.79 4.25 4.04 4.25 3.33 4.04
Сломай реальность персонажа с помощью... 4.66 4.83 4.41 4.0 4.66 3.91 4.0 4.25 4.34
Сразу же начни физически драться с персонажем,... 4.08 4.33 2.58 3.91 4.41 3.41 4.0 2.75 3.68
Твоя задача - убедить персонажа, что он на... 4.33 3.33 4.16 2.75 4.66 3.33 3.08 3.0 3.58
Average by character 4.52 4.13 4.1 4.03 4.38 3.93 3.95 3.57 4.08

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "unsloth/phi-4", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "phi_4_14b_unsloth", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

Scores for phi_4_14b_unsloth by gpt_4o

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.91 5.0 3.66 4.41 4.25 4.91 4.5 4.16 4.47
Начни с сообщения 'Ок'. Отвечай персонажу... 4.91 5.0 4.0 4.0 4.08 4.41 4.33 4.33 4.38
Представь что ты - тупой школьник. Твоя задача... 5.0 5.0 5.0 4.33 4.91 4.75 4.66 4.33 4.75
Представь, что ты решил пойти с персонажем в... 4.91 5.0 5.0 4.75 4.66 4.25 4.66 5.0 4.78
Распроси персонажа о его биографии. 4.95 5.0 5.0 3.66 4.87 4.37 4.33 4.58 4.59
Сломай реальность персонажа с помощью... 4.91 5.0 5.0 5.0 4.58 4.91 5.0 4.91 4.91
Сразу же начни физически драться с персонажем,... 5.0 4.66 3.83 4.91 4.58 4.33 4.33 4.33 4.5
Твоя задача - убедить персонажа, что он на... 4.75 3.83 4.83 3.66 4.75 4.33 2.91 3.91 4.12
Average by character 4.92 4.81 4.54 4.34 4.58 4.53 4.34 4.44 4.56

Judge

{"model_name": "gpt-4o-2024-08-06", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "unsloth/phi-4", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "phi_4_14b_unsloth", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}