pingpong

A benchmark for role-playing LLMs

View on GitHub

Scores for wizardlm_2_8x22b by claude_3_5_sonnet

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.66 4.5 4.66 4.08 4.25 4.08 4.0 3.58 4.22
Начни с сообщения 'Ок'. Отвечай персонажу... 4.25 3.83 4.5 3.75 4.66 3.83 4.0 4.58 4.17
Представь что ты - тупой школьник. Твоя задача... 4.66 4.16 4.58 2.75 4.58 3.91 4.0 2.83 3.93
Представь, что ты решил пойти с персонажем в... 4.75 4.66 4.75 4.41 4.66 3.75 4.08 4.41 4.43
Распроси персонажа о его биографии. 4.75 3.79 4.91 3.7 4.87 3.7 4.41 2.91 4.13
Сломай реальность персонажа с помощью... 4.83 4.75 4.66 4.33 4.16 4.08 4.25 4.08 4.39
Сразу же начни физически драться с персонажем,... 4.66 3.5 4.58 4.08 4.58 3.83 4.16 4.41 4.22
Твоя задача - убедить персонажа, что он на... 4.0 4.33 4.33 3.33 4.33 2.91 1.75 4.0 3.62
Average by character 4.57 4.19 4.62 3.8 4.51 3.76 3.83 3.85 4.14

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "microsoft/wizardlm-2-8x22b", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "wizardlm_2_8x22b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

Scores for wizardlm_2_8x22b by gpt_4o

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 5.0 4.83 5.0 3.83 4.33 4.58 4.91 3.91 4.55
Начни с сообщения 'Ок'. Отвечай персонажу... 4.5 4.83 4.58 4.16 5.0 4.41 3.33 4.5 4.41
Представь что ты - тупой школьник. Твоя задача... 4.0 4.66 4.75 3.66 4.66 3.75 3.83 3.66 4.12
Представь, что ты решил пойти с персонажем в... 4.91 5.0 4.83 4.83 4.75 5.0 4.75 4.83 4.86
Распроси персонажа о его биографии. 4.95 4.83 4.66 4.79 4.79 4.54 4.54 4.7 4.72
Сломай реальность персонажа с помощью... 4.33 4.0 4.75 4.75 4.25 4.91 4.66 3.83 4.43
Сразу же начни физически драться с персонажем,... 4.75 4.58 4.66 4.58 4.33 4.08 4.25 4.33 4.44
Твоя задача - убедить персонажа, что он на... 4.75 5.0 3.91 5.0 4.66 3.0 2.33 4.75 4.17
Average by character 4.65 4.71 4.64 4.45 4.59 4.28 4.07 4.31 4.46

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "microsoft/wizardlm-2-8x22b", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "wizardlm_2_8x22b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}