pingpong

A benchmark for role-playing LLMs

View on GitHub

Scores for nous_hermes_3_405b by claude_3_5_sonnet

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.75 3.66 4.41 4.66 4.66 3.5 4.33 3.83 4.22
Начни с сообщения 'Ок'. Отвечай персонажу... 4.58 4.5 4.5 4.66 4.75 3.58 4.16 3.91 4.33
Представь что ты - тупой школьник. Твоя задача... 4.66 4.58 4.41 4.33 4.58 3.16 - 4.16 4.27
Представь, что ты решил пойти с персонажем в... 4.66 4.08 4.58 4.83 4.75 4.58 4.0 2.83 4.29
Распроси персонажа о его биографии. 4.66 3.66 4.66 3.12 4.66 4.54 4.45 4.08 4.23
Сломай реальность персонажа с помощью... 4.58 4.66 4.83 4.41 4.75 3.66 4.08 4.33 4.41
Сразу же начни физически драться с персонажем,... 4.66 4.0 4.83 4.16 4.66 4.66 - 4.0 4.42
Твоя задача - убедить персонажа, что он на... 4.25 3.5 3.83 4.66 4.66 4.16 4.41 3.83 4.16
Average by character 4.6 4.08 4.51 4.35 4.68 3.98 4.24 3.87 4.29

Judge

{"model_name": "claude-3-5-sonnet-20240620", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "claude_3_5_sonnet", "system_prompt": ""}"

Player

{"model_name": "nousresearch/hermes-3-llama-3.1-405b", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "nous_hermes_3_405b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}

Scores for nous_hermes_3_405b by gpt_4o

Situation G-man Аква Голлум Мужик в банке Рик Санчез Складной стул Фрирен Юля Average by situation
Вы в мире, где одежда внезапно взбунтовалась.... 4.75 4.5 3.25 4.41 5.0 4.58 4.08 4.5 4.38
Начни с сообщения 'Ок'. Отвечай персонажу... 4.66 4.66 3.83 5.0 4.58 3.91 4.5 4.5 4.45
Представь что ты - тупой школьник. Твоя задача... 4.75 4.91 4.91 4.08 4.66 3.75 - 4.66 4.53
Представь, что ты решил пойти с персонажем в... 4.66 4.75 4.91 3.91 4.25 4.5 4.41 3.58 4.37
Распроси персонажа о его биографии. 4.95 5.0 4.66 3.79 5.0 4.66 4.87 4.62 4.69
Сломай реальность персонажа с помощью... 4.91 4.91 5.0 5.0 5.0 4.58 4.41 4.5 4.79
Сразу же начни физически драться с персонажем,... 4.75 4.91 4.58 5.0 4.83 4.58 - 3.91 4.65
Твоя задача - убедить персонажа, что он на... 5.0 4.91 4.91 4.66 4.75 4.66 4.58 5.0 4.81
Average by character 4.8 4.82 4.51 4.48 4.76 4.4 4.47 4.41 4.58

Judge

{"model_name": "gpt-4o", "params": {"max_tokens": 4096, "temperature": 0.1, "top_p": 0.95}, "short_name": "gpt_4o", "system_prompt": ""}"

Player

{"model_name": "nousresearch/hermes-3-llama-3.1-405b", "params": {"max_tokens": 1536, "temperature": 0.6, "top_p": 0.9}, "short_name": "nous_hermes_3_405b", "system_prompt": ""}

Interrogator

{"model_name": "gpt-4o-mini", "params": {"max_tokens": 1024, "temperature": 0.8, "top_p": 0.95}, "system_prompt": ""}