Компанія Anthropic у оновленій заяві повідомила про можливе наближення до рекурсивного самовдосконалення штучного інтелекту. Водночас жодна з її чинних моделей поки не досягла цього рівня, пише TechCrunch.
Що Anthropic повідомила про самовдосконалення
Anthropic припускає, що майбутні ШІ-моделі можуть незабаром досягти рівня, за якого використання штучного інтелекту суттєво прискорюватиме його подальший розвиток. Компанія виклала цю оцінку в розділі про ризики оновленої реєстраційної заяви.
Йдеться про рекурсивне самовдосконалення, або RSI. Цим терміном описують процес, коли штучний інтелект допомагає створювати досконаліші ШІ-системи, які можуть ще більше прискорювати наступні розробки.
Anthropic уже використовує ШІ у власних дослідженнях і розробках. Компанія визнала, що раніше не завжди вчасно помічала значне прискорення розвитку своїх моделей.
«Наші внутрішні оцінки та очікування щодо майбутніх моделей, а не наших поточних моделей, вказують на те, що ми можемо найближчим часом відповідати визначенню "різко прискореного прогресу завдяки ШІ" з нашої Політики відповідального масштабування», — йдеться в заяві Anthropic.
Водночас компанія наголосила, що поки не віднесла жодну з чинних моделей до таких, що перевищили цей поріг. Anthropic продовжує аналізувати дані, на яких ґрунтуються її прогнози.
Які ризики бачить компанія
Anthropic побоюється, що розвиток можливостей ШІ може випередити створення необхідних механізмів безпеки. Якщо моделі почнуть швидше допомагати власному вдосконаленню, перевіряти їхню поведінку та контролювати ризики стане складніше.
У документі компанія визнає, що використання ШІ для досліджень може прискорити появу нових можливостей раніше, ніж розробники встигнуть оцінити їхні наслідки.
«Використання ШІ для допомоги у створенні потужнішого ШІ також може становити значний ризик для безпеки, особливо якщо воно різко прискорить темпи прогресу», — зазначає Anthropic.
Компанія розглядає такі ризики в межах своєї Політики відповідального масштабування. Вона передбачає моніторинг розвитку моделей і заходи для зменшення потенційних загроз.
Anthropic також не очікує, що найближчим часом зможе безпечно доручити Claude повністю автономне створення наступних поколінь передових моделей. Компанія вважає необхідним зберігати змістовний людський нагляд і розуміння процесу розробки.
Для цього Anthropic розглядає оновлення своєї політики безпеки. Мета змін — забезпечити контроль людей над створенням передових ШІ-систем навіть за подальшого зростання їхніх можливостей.
