7 декабря 2024 г.
#GPTэкспертиза: Как скоро мы потеряем работу из-за ИИ?
⚡️Популярные бенчмарки (тесты, которые проверяют ИИ) создают впечатление, что ИИ умён. Реально ли?
Да, современные LLM модели, типа GPT-o1 от OpenAI и Claude 3.5 Sonnet, уделают нас в юриспруденции, кодировании и математике, но в вопросах на логику затупят. Потому что нужно размышлять, а не копипастить заранее известный ответ.
❗️Наткнулись на бенчмарк SIMPLE - "тест" с вопросами вроде:
На тарелке 2 яблока, 4 груши, 3 банана. Сначала убрали один банан и положили рядом с тарелкой, затем его заменили яблоком. Потом яростно потрясли тарелку и перевернули вверх дном, чтобы снова потрясти. Посчитай сколько и каких фруктов осталось в тарелке
Нам такие вопросы кажутся лёгкими, а вот ИИ теряется. Самая умная модель, о1-preview, набрала 41,7% правильных ответов. А человек, не напрягаясь, выдает 83,7%! Эти вопросы не в открытом доступе, ИИ не может просто их "загуглить".
✅ Так что наш интеллект по-прежнему на коне. А искусственному еще учиться и учиться, чтобы думать как мы. Вопрос, как быстро додумается?
Подробно с графиками
здесь.👾 — в ближайшие годы нас поработят
🐳 — человек всегда будет сильнее и умнее
🫡 — пора идти в IT и ИИ...
🟩 GPT, помоги!