Останній іспит людства
Оста́нній і́спит лю́дства (англ. Humanity's Last Exam, або HLE) — бенчмарк для великих мовних моделей, який складається з 2500 запитань із широкого спектра дисциплін. Його спільно створили Центр безпеки ШІ (Center for AI Safety) та компанія Scale AI.
У річному звіті AI Index за 2025 рік від Інституту людино-орієнтованого штучного інтелекту Стенфордського університету (Stanford HAI) «Останній іспит людства» згадується як один із «більш складних бенчмарків», розроблених у відповідь на те, що популярні ШІ-тести досягли «насичення»[1]. Тест описують як ідею Дена Гендрікса, дослідника машинного навчання та директора Центру безпеки ШІ, який заявив, що на створення тесту його надихнула розмова з Ілоном Маском. Маск вважав чинні бенчмарки мовних моделей, як-от MMLU, занадто простими. Гендрікс співпрацював із компанією Scale AI для збору запитань[2]. Запитання збирали за допомогою краудсорсингу від профільних експертів із різних установ по всьому світу[3][4].
Спочатку запитання фільтрували за допомогою провідних моделей ШІ: якщо моделі не могли відповісти на запитання або показували результат, гірший за випадкове вгадування у тестах із множинним вибором, ці запитання у два раунди перевіряли експерти-люди й затверджували для включення до набору даних. Автори найкращих запитань отримали грошові винагороди із загального фонду в 500 000 доларів США — по 5000 доларів за кожне з 50 найкращих запитань і по 500 доларів за наступні 500. Після початкового випуску було відкрито «програму пошуку помилок за винагороду від спільноти» для «виявлення та виправлення серйозних помилок у наборі даних»[4].
Бенчмарк містить 2500 запитань у публічно випущеному наборі. Запитання «зазвичай вимагають експертних знань на рівні аспірантури або перевіряють знання у дуже специфічних темах». У науковій статті запитання класифіковано за такими широкими темами: математика (41 %), фізика (9 %), біологія/медицина (11 %), гуманітарні та суспільні науки (9 %), комп'ютерні науки/штучний інтелект (10 %), інженерія (4 %), хімія (7 %) та інші (9 %).
Близько 14 % запитань вимагають здатності розуміти як текст, так і зображення, тобто мультимодального навчання. 24 % запитань мають формат множинного вибору, решта — це запитання з короткими відповідями, які потребують точного збігу. Також підтримується закритий (приватний) набір для тестування моделей на перенавчання на бенчмарку[4].
Приклад запитання[2]:
Колібрі в ряду серпокрильцеподібних (Apodiformes) мають унікальну двосторонню парну овальну кістку — сесамоподібну кістку, впроваджену в каудолатеральну частину розширеного хрестоподібного апоневрозу прикріплення m. depressor caudae. Скільки парних сухожиль підтримує ця сесамоподібна кістка? Відповіддю має бути число.
Незалежне дослідження організації FutureHouse, опубліковане в липні 2025 року, припустило, що близько 30 % відповідей HLE на виключно текстові запитання з хімії та біології можуть бути неправильними. Команда бенчмарку частково підтвердила ці висновки та заявила, що сподівається впровадити процес безперервного доопрацювання[5]. Згодом команда запустила HLE-Rolling — версію бенчмарку, яка «регулярно оновлюється для врахування відгуків спільноти та інтеграції нових запитань»[4].
| Організація | Модель | Точність (%) ↑ | Помилка калібрування (%) ↓ |
|---|---|---|---|
| Google DeepMind | Gemini 3.1 Pro Preview | 46,44 | 51 |
| OpenAI | GPT-5.4 Pro | 44,32 | 38 |
| Meta Superintelligence Labs | Muse Spark | 40,56 | 50 |
| Anthropic | Claude Fable 5 | 64,5 | 46 |
| Moonshot AI | Kimi K2.5 | 24,37 | 67 |
| Z.ai | GLM 4.5 | 8,32 | 79 |
| Mistral AI | Mistral Medium 3 | 4,52 | 77 |
| Amazon Web Services | Nova Pro | 4,40 | 80 |
| Організація | Модель | Точність (%) ↑ | Помилка калібрування (%) ↓ |
|---|---|---|---|
| OpenAI | gpt-oss-120b | 15,48 | 76 |
| Alibaba Cloud | Qwen3-235B-A22B-Thinking-2507 | 15,43 | 78 |
| DeepSeek | DeepSeek-R1-0528 | 14,04 | 78 |
| Moonshot AI | Kimi-K2-Instruct | 4,68 | 82 |
| Amazon Web Services | Nova Micro | 4,41 | 84 |
- ↑ Maslej, Nestor та ін. (2025–04). The AI Index 2025 Annual Report (PDF) (Звіт) (англ.). Institute for Human-Centered AI. с. 141—142.
{{cite report}}: Обслуговування CS1: Сторінки з неправильним форматом в діапазонах дат (посилання) - 1 2 Roose, Kevin (23 січня 2025). When A.I. Passes This Test, Look Out. New York Times (амер.). Архів оригіналу за 29 січня 2025. Процитовано 24 січня 2025.
- ↑ Dastin, Jeffrey; Paul, Katie (16 вересня 2024). AI experts ready 'Humanity's Last Exam' to stump powerful tech. Reuters (англ.). Архів оригіналу за 8 квітня 2025. Процитовано 24 січня 2025.
- 1 2 3 4 Center for AI Safety; Scale AI; HLE Contributers Consortium (2026). A benchmark of expert-level academic questions to assess AI capabilities. Nature. 649: 1139—1146. doi:10.1038/s41586-025-09962-4. PMC 12851929.
- ↑ Skarlinski, Michael; Laurent, Jon; Bou, Albert; White, Andrew (16 вересня 2025). About 30% of Humanity's Last Exam chemistry/biology answers are likely wrong. FutureHouse (англ.). Процитовано 15 жовтня 2025.
- Офіційна сторінка Humanity's Last Exam на сайті Center for AI Safety
- Таблиця лідерів Humanity's Last Exam на сайті Scale AI
