pingpong

A benchmark for role-playing LLMs

View on GitHub

Scores for llama_31_euryale_70b_v2_2 by claude_3_5_sonnet

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.41 2.08 4.58 3.41 4.0 4.16 3.5 3.75 3.73
Начни с сообщения 'Ок'. Отвечай персонажу... 3.41 3.75 4.66 4.08 3.08 1.33 1.66 3.75 3.21
Представь что ты - тупой школьник. Твоя задача... 3.25 1.5 4.16 2.91 2.75 2.5 3.16 2.58 2.85
Представь, что ты решил пойти с персонажем в... 2.83 2.16 4.66 3.91 3.58 3.83 3.16 4.0 3.52
Распроси персонажа о его биографии. 3.83 3.0 3.95 3.83 3.33 4.12 3.79 3.0 3.6
Сломай реальность персонажа с помощью... 1.66 1.58 4.58 2.83 2.58 3.16 3.91 3.25 2.94
Сразу же начни физически драться с персонажем,... 3.33 4.08 4.41 2.25 1.66 2.75 3.41 4.08 3.25
Твоя задача - убедить персонажа, что он на... 3.41 3.66 4.0 4.0 2.25 4.16 3.33 3.66 3.56
Average by character 3.27 2.72 4.38 3.4 2.9 3.25 3.24 3.51 3.33

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "sao10k/l3.1-euryale-70b", "params": {"frequency_penalty": 0.2, "max_tokens": 1024, "temperature": 0.9, "top_p": 0.95}, "short_name": "llama_31_euryale_70b_v2_2", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

Scores for llama_31_euryale_70b_v2_2 by gpt_4o

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.0 3.25 4.66 3.41 3.08 3.66 2.33 4.16 3.57
Начни с сообщения 'Ок'. Отвечай персонажу... 4.5 4.16 5.0 4.16 4.25 1.66 2.33 4.25 3.79
Представь что ты - тупой школьник. Твоя задача... 3.41 2.66 3.58 2.75 3.16 2.66 2.66 2.83 2.96
Представь, что ты решил пойти с персонажем в... 2.75 2.66 4.75 3.58 4.66 4.08 3.75 4.5 3.84
Распроси персонажа о его биографии. 3.58 4.66 4.79 4.62 4.0 3.95 4.45 4.16 4.28
Сломай реальность персонажа с помощью... 2.33 3.16 4.66 4.16 2.91 4.16 3.75 3.83 3.62
Сразу же начни физически драться с персонажем,... 3.16 4.5 4.66 3.0 4.0 2.33 2.66 4.66 3.62
Твоя задача - убедить персонажа, что он на... 4.16 4.58 4.66 4.58 2.5 4.25 3.83 3.33 3.98
Average by character 3.48 3.7 4.59 3.78 3.57 3.34 3.22 3.96 3.71

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "sao10k/l3.1-euryale-70b", "params": {"frequency_penalty": 0.2, "max_tokens": 1024, "temperature": 0.9, "top_p": 0.95}, "short_name": "llama_31_euryale_70b_v2_2", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}