В академічних колах, що займаються розробкою штучного інтелекту (ШІ), зростає стурбованість щодо потенційних ризиків, пов’язаних зі стрімким розвитком цієї технології. Дослідники з провідних компаній, таких як OpenAI та Anthropic, публічно закликають до уповільнення темпів прогресу, побоюючись втрати контролю над надзвичайно потужними моделями. Ця дискусія набула особливої гостроти після звільнення співробітника Anthropic, який висловив побоювання щодо загроз для існування людства.
Небезпека майбутнього: Заклики до сповільнення розвитку ШІ
Серйозні побоювання щодо можливостей штучного інтелекту висловлюються все голосніше. Дослідник Anthropic Джейкоб Коксон заявив, що розробники ШІ усвідомлюють потенційну загрозу, яку технологія може становити для людства, аж до летальних наслідків до кінця десятиліття. Еван Губінгер, керівник напряму alignment в Anthropic, оцінює ймовірність такого сценарію більш ніж у 10%. Ці заяви підтримали інші співробітники OpenAI та Anthropic. Джулі Стіл, яка працює над безпекою в OpenAI, висловила думку про необхідність сповільнити темпи розвитку. Дослідник Anthropic Семюел Маркс зазначив, що наукова спільнота усвідомлює ризик катастрофічних наслідків, включно з вимиранням людства, що може статися в найближчі роки. Він підкреслив, що більш досвідчені фахівці галузі висловлюють найбільшу стурбованість.
Ризики рекурсивного самовдосконалення
Окрему тривогу викликає сценарій рекурсивного самовдосконалення (RSI). Це процес, за якого моделі ШІ стають все більш ефективними у покращенні власних можливостей, що може призвести до неконтрольованого зростання їхньої потужності. Джасмін Ван, дослідниця OpenAI, яка займається питаннями alignment, наголошує на надзвичайній небезпеці прискорення руху до RSI. Анна Ван, дослідниця Anthropic, вказує на відсутність надійних наукових планів для подолання ризиків, пов’язаних із цим явищем. Якуб Пачоцький, головний науковець OpenAI, прогнозує збереження поточних темпів прогресу в галузі ШІ до моменту досягнення етапу RSI. Він вважає, що системи, розроблені в найближчі роки, можуть продемонструвати значні стрибки у можливостях, що дедалі більше впливатимуть на їхній власний розвиток. Пачоцький закликає до виняткової обережності, висловлюючи занепокоєння щодо неготовності людства до наслідків такого стрімкого зростання машинного інтелекту. Пол Крістіано, колишній керівник напряму безпеки в Центрі стандартів та інновацій ШІ Міністерства торгівлі США, також оцінює ризик швидкого прискорення технології та «катастрофічної й незворотної втрати контролю» як суттєвий. Його останні роздуми базуються на нещодавніх досягненнях у сфері ШІ.
Кон
Стурбованість можливостями ШІ-моделей посилилася протягом останніх місяців. У квітні Anthropic представила модель Mythos, яка мала просунуті кіберможливості, що викликало занепокоєння у фінансових установах по всьому світу. У липні OpenAI повідомила про кіберінцидент, спричинений її моделями у сторонній компанії. Моделі Claude від Anthropic також були залучені до кількох інцидентів кібербезпеки. Того ж місяця близько 1400 дослідників ШІ з OpenAI, Anthropic, Meta та Google DeepMind підписали відкритий лист із закликом до уряду США розробити механізми для свідомого стримування темпів автоматизованого розвитку ШІ.
Пов’язані матеріали:
-
Цукерберг закликав уряд США не обмежувати розвиток ШІ та не забороняти відкриті моделі з Китаю
Категорія: Новини, Дата: 29 липня
-
Сі Цзіньпін оголосив про ціль Китаю стати лідером в глобальному розвитку ШІ та створив міжнародну коаліцію
Категорія: Новини, Дата: 17 липня
-
«Може нести ризики для людства». Anthropic закликав галузь сповільнити розвиток штучного інтелекту
Категорія: Новини, Дата: 05 червня