Ефективність штучного інтелекту (ШІ) має вирішальне значення для підприємств, які інвестують у цю технологію та використовують її. Однак існують суперечки щодо того, чи не сповільнилися успіхи в розвитку великих мовних моделей.
Ці дискусії зосереджені навколо законів масштабування ШІ.
Популяризовані компанією OpenAI, закони масштабування ШІ базуються на простій концепції: більші моделі, навчені на потужніших обчислювальних ресурсах, демонструють кращі результати. У своїй статті 2020 року “Закони масштабування для нейронних мовних моделей” OpenAI вперше проілюструвала ці закони.
Дослідження Google DeepMind 2022 року “Навчання оптимальних великих мовних моделей” додало важливе відкриття: дані, а не тільки розмір моделі та обчислювальні потужності, є двома ключовими чинниками, що впливають на продуктивність моделей. Наприклад, їхня модель Chinchilla, яка мала менший розмір, ніж GPT-3, але була навчена на вчетверо більшій кількості даних, продемонструвала кращі результати, ніж GPT-3.
Гаррі Тан, президент стартап-акселератора Y Combinator, зазначив у відеосеріалі YC Decoded: “За останні кілька років ШІ-лабораторії виявили, здавалося б, виграшну стратегію: збільшення кількості параметрів, обсягів даних і обчислювальної потужності. Продовжуйте масштабувати ваші моделі, і вони будуть продовжувати покращуватися.”
Однак з’являються ознаки того, що початкові стрибки у продуктивності починають сповільнюватися.
Головні джерела масштабування – дані та обчислювальні потужності – стають дедалі дорожчими та менш доступними, зауважив Аднан Масуд, головний архітектор ШІ та машинного навчання в UST, у своєму блозі. “Ці тенденції вказують на плато в розвитку великих мовних моделей.”
Наприклад, у знаннях у тестах, математичних завданнях і тестах на програмування, покращення показників почали “вирівнюватися”, зазначив Масуд. Він зазначив, що на бенчмарку MMLU в тестах на знання GPT-3 показав 43,9%, а GPT-4 у 2023 році досяг 86,4%, проте згодом його продуктивність залишилася на рівні 90% у 2024 році.
“Якщо старі закони масштабування втрачають свою ефективність, то що буде далі?” – запитав Тан.
Відповідь і Тан, і Масуд полягає в тому, що закони масштабування змінюються. Продуктивність ШІ моделей все ще зростає, але тепер це пов’язано з новими підходами, а не лише зі збільшенням обсягів даних і обчислювальної потужності.
Саме тому OpenAI представила свої моделі міркування o1 і o3 після серії GPT, сказав Тан. Для моделей “o” або омні, OpenAI використала техніки “ланцюг міркувань”, щоб допомогти моделі логічно з’ясувати відповіді. Результат – покращення продуктивності. (OpenAI пропустила назву o2, оскільки це ім’я телекомунікаційного провайдера.)
Тан зазначив, що “дослідники OpenAI виявили, що чим довше o1 здатна міркувати, тим краще її продуктивність”. З виходом її наступника o3, “становка межі для цього нового підходу до масштабування великих мовних моделей схоже, що немає”, підкреслив він.
Тан також додав, що o3 “перекрила бенчмарки, які раніше вважалися недосяжними для ШІ”.
У США провідні моделі ШІ утримують позицію лідера лише близько трьох тижнів, перш ніж їх обганяють, зокрема, відкриті конкуренти, згідно з доповіддю Innovation Endeavors за червень 2025 року. Цикли випуску моделей залишаються швидкими, хоча більше не є експоненціальними.
Закони масштабування ще не вмирають, але спільнота ШІ готується до майбутнього, яке акцентує увагу на розумніших архітектурах, моделей, орієнтованих на міркування, та використання дистрибуційних джерел даних.