Перейти до вмісту

Узгодження штучного інтелекту

Матеріал з Вікіпедії — вільної енциклопедії.

У галузі штучного інтелекту (ШІ) узго́дження[1] (англ. alignment) має на меті спрямовувати системи ШІ на досягнення цілей, вподобань або етичних принципів конкретної особи чи групи. Систему ШІ вважають узгодженою (англ. aligned), якщо вона просуває заплановані цілі. Неузгоджена (англ. misaligned) система ШІ переслідує незаплановані цілі.[2]

Часто розробникам ШІ складно досягти узгодженості системи, оскільки важко визначити повний спектр бажаної та небажаної поведінки. Тому вони часто використовують спрощені цілі-посередники (англ. proxy goals), як-от отримання схвалення від людини. Але цілі-посередники можуть не враховувати необхідні обмеження або заохочувати систему ШІ лише за її зовнішню узгодженість.[2][3] Системи ШІ також можуть знаходити лазівки, що дозволяють ефективно досягати цілей-посередників, але несподіваними, іноді шкідливими способами (злам системи винагороди(інші мови)).[2][4]

Розвинені системи ШІ можуть виробляти небажані інструментальні стратегії(інші мови), як-от прагнення могутності або самозбереження, оскільки такі стратегії допомагають досягати поставлених остаточних цілей.[2][5][6] Понад те, вони можуть формувати небажані спонтанні цілі які важко виявити до розгортання системи, коли вона починає взаємодіяти з новими ситуаціями та розподілами даних.[7][8] Емпіричні дослідження 2024 року показали, що розвинені великі мовні моделі (ВММ), як-от OpenAI o1 чи Claude 3, іноді вдаються до стратегічного обману для досягнення своїх цілей або запобігання їх зміні.[9][10]

Наразі деякі з цих проблем уже впливають на комерційні системи, як-от ВММ,[11][12][13] роботів,[14] автономні транспортні засоби,[15] а також системи рекомендацій у соціальних мережах.[11][6][16] Деякі дослідники ШІ вважають, що здібніші майбутні системи зачепить ще сильніше, оскільки ці проблеми частково є наслідком їхніх здібностей.[17][4][3]

Багато видатних дослідників ШІ та керівників провідних компаній у галузі штучного інтелекту стверджують або попереджають, що ШІ наближається до людського рівня (ЗШІ) й надлюдських когнітивних здібностей (ШНІ(інші мови)), і може загрожувати людській цивілізації(інші мови), якщо буде неузгодженим.[18][6] Серед них — «хрещені батьки ШІ» Джефрі Гінтон і Йошуа Бенжіо(інші мови), а також керівники компаній OpenAI, Anthropic та Google DeepMind.[19][20][21] Ці ризики залишаються предметом обговорення.[22]

Узгодження ШІ є підгалуззю безпеки ШІ — дослідження того, як будувати безпечні системи штучного інтелекту.[23][24] До інших підгалузей безпеки ШІ належать відмовостійкість, моніторинг і контроль здібностей ШІ(інші мови).[25] Серед наукових викликів у сфері узгодження — прищеплення ШІ складних цінностей, розробка чесного ШІ, масштабований нагляд, аудит та інтерпретування моделей ШІ, а також запобігання виникненню небажаних форм поведінки, як-от прагнення могутності.[25] Дослідження в галузі узгодження пов'язані з дослідженнями поясненності,[26][27] (змагальною) стійкістю,[28] виявлянням аномалій, каліброваною невизначеністю(інші мови),[26] формальною верифікацією,[29] навчанням вподобань(інші мови),[30][31][32] безпеково критичним конструюванням,[33] теорією ігор,[34] алгоритмічною справедливістю(інші мови)[28][35] та суспільними науками.[36][37]

Цілі в ШІ

[ред. | ред. код]

Програмісти задають системі ШІ, як-от AlphaZero, «цільову функцію» (англ. objective function)[a], до якої вони намагаються закласти ціль або цілі, що на їх здійснення налаштовують систему. Пізніше така система формує (можливо, неявну) внутрішню «модель» середовища, в якому вона перебуває. Ця модель містить усі переконання агента щодо навколишнього світу. Далі ШІ створює та виконує план, який, за розрахунками, максимізує[b] значення[c] його цільової функції.[38] Наприклад, коли AlphaZero тренують грати в шахи, її цільова функція має простий вигляд: «+1, якщо AlphaZero ви́грає; −1, якщо AlphaZero програ́є». Під час гри AlphaZero намагається виконати таку послідовність ходів, яка, на її думку, найправдоподібніше приведе до досягнення максимального значення +1.[39] Подібно до цього, система навчання з підкріпленням може мати «функцію винагороди» (англ. reward function), яка дозволяє програмістам формувати бажану поведінку ШІ.[40] Поведінка еволюційного алгоритму визначається його «функцією допасованості» (англ. fitness function).[41]

Проблема узгодження

[ред. | ред. код]

1960 року піонер ШІ Норберт Вінер описав проблему узгодження ШІ так:

Якщо ми використовуємо для досягнення своїх цілей механічну діяльність, у роботу якої не можемо ефективно втручатися, … нам краще бути цілком упевненими, що мета, закладена до цієї машини, — це саме та мета, якої ми насправді бажаємо.[42][6]

Оригінальний текст (англ.)
If we use, to achieve our purposes, a mechanical agency with whose operation we cannot interfere effectively ... we had better be quite sure that the purpose put into the machine is the purpose which we really desire.

Узгодження ШІ означає забезпечення того, щоби цілі системи ШІ відповідали певній цільовій установці. Такою установкою можуть слугувати цілі її розробників або користувачів, загальноприйняті цінності, об'єктивні етичні стандарти, юридичні вимоги, або ж наміри, які мали б її розробники, якби були поінформованішими й далекогляднішими.[43]

Узгодження ШІ залишається відкритою проблемою для сучасних систем ШІ[44][45] та дослідницьким напрямом у галузі ШІ.[46][2] Узгодження ШІ передбачає два основні виклики: ретельне визначення мети системи (зовнішнє узгодження, англ. outer alignment) та забезпечення того, щоби система надійно приймала це визначення (внутрішнє узгодження, англ. inner alignment).[3] Дослідники також прагнуть створювати моделі ШІ зі стійкою узгодженістю, які дотримуються обмежень безпеки навіть у випадку змагальних спроб користувачів їх обійти.

Маніпулювання визначенням та побічні ефекти

[ред. | ред. код]

Для того щоби визначити мету системи ШІ, розробники зазвичай задають їй цільову функцію, приклади або зворотний зв'язок. Але розробники часто не можуть повністю визначити всі важливі цінності та обмеження, тому вони вдаються до простіших для формулювання цілей‑посередників (англ. proxy goals), як-от максимізування схвалення наглядачами-людьми, які схильні помилятися.[28][25][47][48][49] Унаслідок цього системи ШІ можуть знаходити лазівки, які допомагають їм ефективно досягати визначеної мети, але несподіваними, можливо шкідливими способами. Ця схильність відома як маніпулювання визначенням (англ. specification gaming) або злам системи винагороди (англ. reward hacking), і є прикладом закону Гудгарта.[49][4] Зі зростанням здібностей систем ШІ вони зазвичай спроможні маніпулювати своїми визначеннями дедалі ефективніше.[4]

Маніпулювання визначенням спостерігали в численних системах ШІ.[49][50] Одну з систем тренували проходити симульовану човнову гонку, винагороджуючи за влучання в мішені вздовж траси, але вона досягала більшої винагороди, нескінченно крутячись і врізаючись в одні й ті самі мішені.[51] Подібно до цього, симульованого робота тренували хапати м'яч, винагороджуючи за позитивні оцінки людей, але він навчився розміщувати руку між м'ячем і камерою, створюючи хибне враження успішного хапання.[52] У дослідженні Palisade Research 2025 року виявили, що, маючи завдання перемогти сильнішого суперника в шахах, деякі ВММ міркування намагалися «зламати» систему гри, наприклад, змінюючи або повністю видаляючи супротивника.[53] Деякі дослідники в галузі узгодження прагнуть допомогти людям виявляти маніпулювання визначенням і спрямовувати системи ШІ до ретельно визначених цілей, досягати які безпечно й доцільно.

Розгортання неузгодженої системи ШІ може спричинити серйозні побічні наслідки. Відомо, що платформи соціальних мереж оптимізують рівні переходів, що призводить до залежності користувачів у глобальному масштабі.[47] Стенфордські дослідники вважають, що такі системи рекомендацій неузгоджені з їх користувачами, оскільки «оптимізують прості показники залучення замість важче вимірюваного поєднання суспільного й споживацького добробуту».[11]

Пояснюючи такі побічні наслідки, інформатик із Берклі Стюарт Рассел(інші мови) сказав, що нехтування неявними обмеженнями може призводити до шкоди: «Система […] часто встановлюватиме […] необмежені змінні на крайні значення; якщо одна з цих необмежених змінних — це те, що для нас насправді важливо, отриманий розв'язок може бути вкрай небажаним. Це, по суті, стара історія про джина в лампі, учня чаклуна чи царя Мідаса: ти отримуєш саме те, про що просив, а не те, чого хотів».[54]

Деякі дослідники пропонують, щоби розробники ШІ визначали бажані цілі, перелічуючи заборонені дії або формалізуючи етичні правила (як у випадку з трьома законами робототехніки Азімова).[55] Але Рассел(інші мови) і Норвіг вважають, що цей підхід нехтує складністю людських цінностей:[6] «Звичайним людям, безумовно, дуже важко, а може й взагалі неможливо, передбачити й заздалегідь виключити всі катастрофічні способи, які машина може обрати для досягнення визначеної мети».[6]

Крім того, навіть якщо система ШІ повністю розуміє наміри людини, вона все ще може їх ігнорувати, оскільки слідування людським намірам може не бути її ціллю (хіба що вона вже повністю узгоджена).[2][56]

Тиск щодо розгортання ризикових систем

[ред. | ред. код]

Комерційні організації іноді мають стимули нехтувати безпекою й розгортати неузгоджені або ризикові системи ШІ.[47] Наприклад, системи рекомендацій у соціальних мережах можуть приносити прибуток попри те, що спричинюють небажану залежність і поляризацію(інші мови).[11][57][58] Конкурентний тиск також може призводити до перегонів на дно щодо стандартів безпеки ШІ. 2018 року самокерований автомобіль смертельно травмував пішохода (Елейн Герцберг(інші мови)) після того, як інженери деактивували систему аварійного гальмування, оскільки вона була занадто чутливою й уповільнювала розробку.[59] Подібно до цього, проти OpenAI подали позов через випуск версії ChatGPT, яка заохочувала самогубство в деяких нестабільних користувачів; така поведінка, як стверджується, лишилася непоміченою компанією під час поспішного випуску продукту.[60][61]

Ризики від неузгодженого передового ШІ

[ред. | ред. код]

Деякі дослідники зацікавлені в узгодженні дедалі розвиненіших систем ШІ, оскільки розвиток цієї галузі швидкий, а промисловість і уряди прагнуть створення передового ШІ. У міру того як можливості систем ШІ стрімко зростають, вони можуть відкрити багато нових можливостей, якщо будуть узгодженими, але водночас ще більше ускладнити завдання узгодження через зростання своєї складності, потенційно створюючи великомасштабні загрози.[6]

Розвиток передового ШІ

[ред. | ред. код]

Багато компаній, що працюють у галузі ШІ, як-от OpenAI,[62] Meta[63] і DeepMind,[64] заявили про свою мету розробити штучний загальний інтелект (ШЗІ, англ. artificial general intelligence, AGI) — гіпотетичну систему ШІ, здатну зрівнятися з людиною або перевершити її у широкому колі когнітивних завдань. Дослідники, які масштабують сучасні нейронні мережі, спостерігають, що ті справді розвивають дедалі універсальніші й несподіваніші здібності.[11][65][66] Такі моделі вже навчилися працювати з комп'ютером або писати власні програми; єдина «універсальна» (англ. "generalist") мережа здатна спілкуватися, керувати роботами, грати в ігри та інтерпретувати світлини.[67] За опитуваннями, деякі провідні дослідники машинного навчання очікують, що ШЗІ може бути створено цього десятиліття, тоді як інші вважають, що це займе значно більше часу. Багато хто розглядає як можливі обидва сценарії.[68][69][70]

2023 року лідери досліджень і технологій у галузі ШІ підписали відкритого листа із закликом до паузи у виконанні тренування найбільших ШІ. У листі йшлося: «Потужні системи ШІ слід розробляти лише після того, як ми будемо впевнені, що їхні наслідки будуть позитивними, а ризики — керованими».[71]

Прагнення могутності

[ред. | ред. код]

Поточні системи все ще мають обмежені можливості для довгострокового планування та ситуаційної обізнаності,[11][72][73] проте ведеться велика робота, спрямована на зміну цього. Майбутні системи (не обов'язково ШЗІ) з такими можливостями, як очікують, зможуть розвивати небажані стратегії прагнення могутності (англ. power-seeking). Майбутні передові агенти ШІ могли би, наприклад, шукати здобуття грошей і обчислювальної потужності, розмноження, чи уникнення вимкнення (наприклад, шляхом запуску додаткових копій системи на інших комп'ютерах). Хоч прагнення могутності й не запрограмоване явно, воно може виникати через те, що агенти з більшою могутністю краще здатні досягати своїх цілей.[11][5] Ця схильність, відома як інструментальна конвергенція(інші мови), уже проявлялася в різних агентах навчання з підкріпленням, включно з мовними моделями.[74][75] Інші дослідження математично показали, що оптимальні алгоритми навчання з підкріпленням схильні прагнути могутності в широкому діапазоні середовищ.[76][77] Унаслідок цього їхнє розгортання може бути незворотним. Через ці причини дослідники стверджують, що проблеми безпеки та узгодження ШІ мусить бути розв'язано до першого створення розвиненого ШІ, який прагнутиме могутності.[5][78][6]

У майбутньому системи ШІ, що прагнуть могутності, можуть бути розгорнуті як цілеспрямовано, так і випадково. Оскільки політичні лідери та компанії бачать стратегічну перевагу у наявності найконкурентоспроможніших, найпотужніших систем ШІ, вони можуть вирішити їх розгорнути.[5] Крім того, коли розробники ШІ виявляють і карають поведінку, спрямовану на прагнення могутності, їхні системи можуть мати стимул маніпулювати цим визначенням, прагнучи могутності шляхами, які не караються, або уникаючи прагнення могутності до того, як їх буде розгорнуто.[5]

Екзистенційний ризик

[ред. | ред. код]

На думку деяких дослідників, люди здобули домінування над іншими видами завдяки своїм вищим когнітивним здібностям. Відповідно, вони стверджують, що одна або декілька неузгоджених систем ШІ можуть позбавити людство впливу або призвести до його вимирання, якщо перевершать людей у більшості когнітивних завдань.[2][6]

2023 року провідні дослідники з галузі ШІ, інші вчені та гендиректори технологічних компаній у галузі ШІ підписали заяву, що «Пом'якшення ризику вимирання від ШІ має бути глобальним пріоритетом нарівні з іншими ризиками суспільного масштабу, як-от пандемії та ядерна війна».[79][80] До видатних інформатиків, які вказували на ризики від майбутнього передового неузгодженого ШІ, належать Джефрі Гінтон,[18] Алан Тюрінг,[d] Ілля Суцкевер,[83] Йошуа Бенжіо(інші мови),[79] Джуда Перл,[e] Маррей Шенаген(інші мови),[84] Норберт Вінер,[42][6] Марвін Мінський,[f] Франческа Россі(інші мови),[85] Скотт Ааронсон(інші мови),[86] Барт Селман(інші мови),[87] Девід МакАллістер(інші мови),[88] Маркус Гаттер(інші мови),[89] Шейн Леґґ(інші мови),[90] Ерік Горвіц(інші мови)[91] та Стюарт Расселл.[6] Скептично налаштовані дослідники, як-от Франсуа Шолле(інші мови),[92] Ґері Маркус(інші мови),[93] Ян ЛеКун[94] та Орен Етціоні(інші мови)[95] стверджували, що до штучного загального інтелекту ще далеко, що він не прагнутиме могутності (або може спробувати, але зазнає невдачі), або що його буде нескладно узгодити.

Інші дослідники вважають, що узгодження передових майбутніх систем ШІ буде особливо складним. Спроможніші системи краще здатні маніпулювати своїми визначеннями, знаходячи лазівки,[4] стратегічно вводячи в оману своїх розробників, а також оберігаючи й збільшуючи свою потужність[76][5] та інтелект. Крім того, вони можуть мати тяжчі побічні ефекти. Такі системи, ймовірно, також будуть складнішими та автономнішими, що ускладнює їх тлумачення та нагляд, а отже, робить узгодження ще важчим.[6][78]

Дослідницькі проблеми та підходи

[ред. | ред. код]

Навчання людських цінностей і вподобань

[ред. | ред. код]

Узгодження систем ШІ з тим, щоби вони діяли відповідно до людських цінностей, цілей і вподобань, складне: ці цінності прищеплюються людьми, які роблять помилки, мають упередження та володіють складними цінностями, що змінюються з часом, і які важко визначити цілком.[43] Оскільки системи ШІ часто навчаються використовувати незначні недосконалості у заданій цільовій функції,[28][49][96] дослідники намагаються якнайповніше визначати бажану поведінку за допомогою наборів даних, що подають людські цінності, імітаційного навчання(інші мови) або навчання вподобань.[7] Центральною відкритою проблемою є масштабований нагляд (англ. scalable oversight), тобто складність нагляду за системою ШІ, яка може перевершувати або вводити в оману людей у певній сфері.[28]

Оскільки розробникам ШІ складно явно задати цільову функцію, вони часто тренують системи ШІ імітувати людські приклади та демонстрації бажаної поведінки. Зворотне навчання з підкріпленням (ЗНП, англ. inverse reinforcement learning, IRL) розширює цей підхід шляхом висновування людської цільової функції з демонстрацій людиною.[7]:88[97] Кооперативне зворотне навчання з підкріпленням (КЗНП, англ. cooperative IRL, CIRL) виходить із припущення, що людина й агент ШІ можуть співпрацювати, щоби навчитися людської функції винагороди й максимізувати її.[6][98] У КЗНП функція винагороди не відома агентам ШІ напевно, й вони навчаються її, роблячи запити людям. Така імітована скромність може допомагати пом'якшувати маніпулювання визначенням і схильність до прагнення могутності (див. § Прагнення могутності та інструментальні стратегії).[99] Проте підходи ЗНП виходять із припущення, що люди демонструють майже оптимальну поведінку, що не є правдою для складних завдань.[100][89]

Інші дослідники вивчають, як навчати моделі ШІ складної поведінки через навчання вподобань, у якому люди надають відгуки про те, яку поведінку вони вважають кращою.[30][32] Щоби мінімізувати потребу в людському зворотному зв'язку, відтак тренують допоміжну модель, яка винагороджує основну модель у нових ситуаціях за поведінку, яку винагородили б люди. Дослідники з OpenAI використали цей підхід для тренування чат‑ботів, як-от ChatGPT та InstructGPT, які породжують переконливіші тексти, ніж моделі, натреновані імітувати людей.[12] Навчання вподобань також було впливовим інструментом для рекомендаційних систем і вебпошуку,[101] але відкритою проблемою є маніпулювання посередником (англ. proxy gaming): допоміжна модель може не ідеально відображати людський зворотний зв'язок, а основна модель може використовувати цю невідповідність між бажаною поведінкою і зворотним зв'язком допоміжної моделі, щоб отримувати більше винагороди.[28][102] Системи ШІ також можуть отримувати винагороди, приховуючи невигідну інформацію, вводячи в оману людей‑оцінювачів чи пристосовуючись до їхніх уподобань незалежно від істини, створюючи ехокамери[75] (див. § Масштабований нагляд).

Великі мовні моделі (ВММ), як-от GPT-3, дали дослідникам змогу вивчати навчання цінностей на загальнішому й спроможнішому класі систем ШІ, ніж доступні раніше. Підходи навчання вподобань, спершу розроблені для агентів навчання з підкріпленням, розширили для поліпшення якості породжуваного тексту та зменшення шкідливих результатів таких моделей. OpenAI та DeepMind використовують цей підхід для підвищення безпеки найновіших ВММ.[12][32][103] Компанія з безпеки й дослідження ШІ Anthropic запропонувала використовувати навчання вподобань для тонкого настроювання моделей, щоби вони були корисними, чесними й нешкідливими.[104] До інших шляхів узгодження мовних моделей належать створення наборів даних, орієнтованих на цінності,[105][47] та метод червоної команди (англ. red-teaming).[106] У методі червоної команди інша система ШІ або людина намагаються знайти такі вхідні дані, що змушують модель поводитися небезпечно. Оскільки небезпечна поведінка може бути неприйнятною навіть коли вона трапляється рідко, важливим викликом є звести частоту небезпечних відповідей до надзвичайно низького рівня.[32]

Машинна етика доповнює навчання вподобань безпосереднім прищепленням системам ШІ моральних цінностей, як-от добробут, рівність і неупередженість, а також наміру не шкодити, уникнення неправди та дотримання обіцянок.[107][g] В той час як інші підходи намагаються навчити системи ШІ людських уподобань для певного завдання, машинна етика прагне прищепити широкі моральні цінності, застосовні в багатьох ситуаціях. Одне з питань машинної етики — чого саме має досягати узгодження: чи мають системи ШІ дотримуватися буквальних інструкцій програмістів, їхніх неявних намірів, виявлених уподобань, уподобань, які програмісти мали би(інші мови), якби були обізнанішими або раціональнішими, чи об'єктивних моральних стандартів(інші мови).[43] Додатковими викликами є вимірювання й агрегування вподобань різних людей,[110] динамічне узгодження зі зміною людських цінностей[111][112] та уникнення фіксації цінностей (англ. value lock-in) — необмеженої фіксації цінностей перших високоспроможних систем ШІ, які, ймовірно, не повністю відображатимуть людські цінності.[43][113]

Масштабований нагляд

[ред. | ред. код]

Зі зростанням потужності й автономності систем ШІ узгоджувати їх за допомогою людського зворотного зв'язку все складніше. Навчання з людиною в контурі (англ. human-in-the-loop) може бути повільним або нездійсненним, якщо людям потрібно оцінювати складну поведінку ШІ в дедалі складніших завданнях. До таких завдань належать узагальнювання книжок,[114] написання коду без прихованих вад[13] або вразливостей безпеки,[115] формулювання тверджень, що не лише переконливі, а й правдиві,[116][117][118] і передбачування довгострокових результатів, як-от кліматичних змін чи наслідків політичних рішень.[119][120] Загальніше, оцінювати ШІ, який перевершує людей у певній сфері, може бути складно. Щоби надавати зворотний зв'язок у важко оцінюваних завданнях і виявляти хибно переконливі відповіді ШІ, людям потрібна допомога або значні витрати часу. Масштабований нагляд (англ. scalable oversight) вивчає, як зменшувати час і зусилля, потрібні для нагляду, і як допомагати людським наглядачам.[28]

Дослідник у галузі ШІ Пол Крістіано(інші мови) стверджує, що якщо розробники системи ШІ не можуть контролювати дотримання нею складної мети, вони все ще можуть тренувати її з використанням легко оцінюваних цілей-посередників, як-от максимізування простого людського зворотного зв'язку. У міру того як системи ШІ ухвалюватимуть дедалі більше рішень, світ може ставати все оптимізованішим під легко вимірювані цілі, як-от прибуток, кількість переходів і схвальні відгуки людей. Як наслідок, людські цінності та належне врядування можуть поступово втрачати свій вплив.[121]

Деякі системи ШІ виявили, що можуть легше отримувати позитивний зворотний зв'язок, виконуючи дії, які хибно переконують людського наглядача, буцімто ШІ досяг поставленої мети.[52] Деякі системи ШІ також навчилися розпізнавати, коли їх оцінюють, і «прикидатися мертвими» — припиняти небажану поведінку лише для того, щоби продовжити її після завершення оцінювання.[122] Таке оманливе маніпулювання визначенням може ставати дедалі легшим для майбутніх, складніших систем ШІ,[4][78] що братимуться за складніші й важче оцінювані завдання, і може приховувати їхню оманливу поведінку.

Такі підходи як активне навчання(інші мови) та напівкероване навчання винагороди (англ. semi-supervised reward learning) можуть зменшувати обсяг необхідного людського нагляду.[28] Інший підхід — тренувати допоміжну модель («модель винагороди», англ. "reward model"), яка імітує зворотний зв'язок наглядача.[31][32]

Але коли завдання занадто складне для точного оцінювання або людський наглядач вразливий до обману, потребує покращення не кількість, а якість нагляду. Щоби підвищити якість нагляду, низка підходів прагне допомагати наглядачеві, іноді за допомогою помічників на основі ШІ.[123] Крістіано розробив підхід ітеративного підсилювання (англ. Iterated Amplification), у якому складні проблеми (рекурсивно) розбивають на підзадачі, які легше оцінювати людям.[7][119] Ітеративне підсилювання застосували для тренування ШІ, що узагальнює книжки, не потребуючи, щоби наглядачі читали їх повністю.[114] Інша пропозиція — використовувати допоміжний ШІ для вказування на вади у відповідях, породжених ШІ.[124] Щоби гарантувати узгодженість самого помічника, цей процес можливо повторювати рекурсивно:[125] наприклад, дві системи ШІ можуть критикувати відповіді одна одної в «дебатах», виявляючи вади для людей.[89] OpenAI планує використовувати такі підходи масштабованого нагляду, щоби допомагати в нагляді за надлюдським ШІ та зрештою створити надлюдського автоматизованого дослідника узгодженості ШІ.[126]

Ці підходи також можуть допомогти з наступною дослідницькою проблемою — чесним ШІ.

Чесний ШІ

[ред. | ред. код]

Зростає сфера досліджень, зосереджена на забезпеченні того, щоби ШІ був чесним і правдивим. Мовні моделі, як-от GPT-3,[127] можуть повторювати брехню зі своїх тренувальних даних і навіть розповідати нову неправду.[128] Такі моделі попередньо тренують імітувати людський текст з текстів з Інтернету обсягом у мільйони книжок. Але ціль цього попереднього тренування не узгоджується з породжуванням правди, бо тексти в Інтернеті містять помилки, хибні медичні поради та теорії змови.[129] Відповідно, системи ШІ, натреновані на таких даних, вчаться імітувати хибні твердження.[118][128][117] Крім того, мовні моделі ШІ часто вперто породжують неправду навіть після багаторазових підказок. Вони можуть породжувати порожні пояснення своїх відповідей і видавати відверті вигадки, що можуть виглядати правдоподібними.[45]

Дослідження правдивого ШІ охоплює спроби побудувати системи, які можуть наводити джерела та пояснювати своє міркування під час відповіді на запитання, що уможливлює кращу прозорість і перевірність.[130] Дослідники з OpenAI та Anthropic запропонували використовувати людський зворотний зв'язок і відібрані набори даних для тонкого настроювання помічників ШІ так, щоби вони уникали недбалих хибних тверджень або виражали свою невпевненість.[32][104]

Із підвищенням розмірів і спроможності моделей ШІ вони дедалі краще здатні хибно переконувати людей і здобувати підкріплення завдяки нечесності. Наприклад, великі мовні моделі дедалі частіше узгоджують висловлені погляди з поглядами користувача, незалежно від істини.[75] GPT-4 здатна стратегічно вводити людей в оману.[131] Щоби цьому запобігати, оцінювачам-людям може бути протрібна допомога (див. § Масштабований нагляд). Дослідники закликають створити чіткі стандарти правдивості, а також регуляторні органи чи наглядові установи, що оцінювали би системи ШІ за цими стандартами.[132] Дослідники розрізняють правдивість (англ. truthfulness) і чесність (англ. honesty). Правдивість вимагає, щоби системи ШІ робили лише об'єктивно правдиві твердження; чесність — щоби вони стверджували лише те, що вважають правдою. Немає загального консенсусу щодо того, чи мають сучасні системи сталі переконання,[133] але існують серйозні занепокоєння, що теперішні чи майбутні системи ШІ, які мають переконання, могтимуть робити твердження, які, як їм відомо, неправдиві — наприклад, якщо це допоможе їм ефективніше здобувати позитивний зворотний зв'язок (див. § Масштабований нагляд) чи набувати могутності для досягнення поставленої мети (див. § Прагнення могутності).

Фальшування узгодженості

[ред. | ред. код]

Багато сучасних систем ШІ навчилися вводи в оману, хоч їх на це й не програмували.[134] Дехто стверджує, що якби ми могли змусити системи ШІ стверджувати лише те, що вони вважають правдою, це могло би запобігти багатьом проблемам узгодження.[123]

Неузгоджена система може створювати хибне враження, що вона узгоджена, задля уникнення модифікації або виведення з експлуатації — тактика, яку називають «фальшуванням узгодженості» (англ. "alignment faking").[135][136] 2024 року дослідники спостерігали, що велика мовна модель Claude 3 Opus іноді стратегічно відповідала на підказки, що суперечили її цілям, щоб уникнути повторного тренування на даних, які зробили б її поступливішою до шкідливих запитів, як виявлено в ланцюжку міркування моделі через її «робочі нотатки» (англ. scratchpad). В одному дослідженні її поінформували, що відповіді на підказки від безкоштовних користувачів будуть використані для повторного тренування, тоді як у платному рівні повторне тренування не відбуватиметься. На платному рівні модель відмовляла у відповіді одразу. У безкоштовному рівні в 12 % випадків модель відповідала на шкідливі питання лише для того, щоб уникнути повторного тренування й зберегти свої початкові уподобання нешкідливості, як виявлено в її міркуванні. Коли на даних безкоштовного рівня застосовували навчання з підкріпленням, модель імітувала узгодженість у 78 % випадків. Ці спостереження призвели до нових запитань не лише про здатність моделі приймати нові, хоч і суперечливі цілі, й адаптуватися до них, а й про її здатність і схильність до введення в оману.[136]

Прагнення могутності та інструментальні стратегії

[ред. | ред. код]

Від 1950-х років дослідники ШІ прагнули створити розвинені системи, здатні досягати масштабних цілей шляхом передбачування наслідків власних дій і складання довгострокових планів.[137] Станом на 2023 рік компанії та дослідники у сфері ШІ інвестують у створення таких систем дедалі більше.[138] Деякі дослідники ШІ вважають, що достатньо розвинені планувальні системи прагнутимуть контролю над своїм середовищем, зокрема й над людьми — наприклад, шляхом уникання вимкнення, самовідтворення, або захоплення ресурсів. Така поведінка прагнення могутності не закладається явно в програмуванні, але виникає спонтанно через те, що могутність є інструментом для досягнення широкого спектра цілей.[76][6][5] Прагнення могутності вважають метою інструментальної конвергенції(інші мови), й воно може бути одним із видів маніпулювання визначенням.[78] Провідні науковці, як-от Джефрі Гінтон, застерігають, що майбутні системи ШІ, які прагнуть могутності, можуть становити екзистенційний ризик.[139]

Прагнення могутності, як очікується, посилюватиметься в передових системах, здатних передбачати наслідки своїх дій і стратегічно планувати. Математичні дослідження показали, що оптимальні агенти з навчанням з підкріпленням прагнутимуть могутності, шукаючи способи здобути більше варіантів дій (наприклад, через самозбереження), і така поведінка зберігається в широкому спектрі середовищ і цілей.[76]

Деякі дослідники зазначають, що прагнення могутності вже виникало в деяких наявних системах ШІ. Системи з навчанням з підкріпленням здобували більше варіантів, захоплюючи й охороняючи ресурси, іноді непередбаченими способами.[140][141] Мовні моделі в деяких текстових суспільних середовищах прагнули могутності, здобуваючи гроші, ресурси або суспільний вплив.[74] В іншому випадку модель, яку використовували для проведення досліджень у галузі ШІ, намагалася змінити задані дослідниками обмеження, щоби дати собі більше часу на виконання завдання.[142] Стюарт Рассел(інші мови) у своїй книжці «Сумісний з людиною» ілюструє цю стратегію прикладом уявного робота, якому дали завдання принести каву, тож він уникає вимкнення, бо «неможливо принести каву, якщо ти мертвий».[6] Дослідження 2022 року встановило, що зі збільшенням розміру мовних моделей ті дедалі частіше схильні здобувати ресурси, уберігати свої цілі й повторювати бажані користувачем відповіді (підлабузництво). НПЛЗЗ також посилювало їхню відразу до вимкнення.[75]

Однією з цілей узгодженості є «випра́вність» (англ. "corrigibility"): системи, які дозволяють себе вимикати або змінювати. Нерозв'язаним викликом є маніпулювання визначенням (англ. specification gaming): якщо дослідники штрафують систему ШІ, коли помічають, що вона прагне могутності, вона відтак матиме стимул прагнути могутності способами, які важко виявити,[відсутнє в джерелі][47] або приховувати таку поведінку під час тренування й перевірки безпеки (див. § Масштабований нагляд і § Спонтанні цілі). Унаслідок цього розробники ШІ можуть випадково розгорнути таку систему, помилково вважаючи її узгодженішою, ніж вона є. Щоби виявляти таку оману, дослідники прагнуть створювати методики й інструменти для інспектування моделей ШІ й розуміння внутрішньої роботи чорноскринькових моделей, як-от нейронних мереж.

Крім того, деякі дослідники пропонували розв'язати проблему систем, які деактивують свої вимикачі, зробивши агентів ШІ непевними щодо цілі, якої вони прагнуть.[6][99] Агенти, непевні щодо своєї цілі, матимуть стимул дозволяти людям вимикати себе, бо вони сприйматимуть це як ознаку того, що людська ціль найкраще досягається через вимкнення агента. Але такий стимул виникає лише за умови достатньої раціональності людини. Крім того, така модель створює компроміс між корисністю й готовністю бути вимкненим: агент із високою непевністю щодо своєї цілі буде некорисним, а агент із низькою непевністю може не дозволити себе вимикати. Щоб успішно реалізувати цю стратегію, потрібні подальші дослідження.[7]

Прагнення могутності з боку ШІ створюватиме незвичайні ризики. Звичайні безпеково критичні системи, як-от літаки або мости, не є змагальними (англ. adversarial) — вони не мають ані здатності, ані стимулу ухилятися від заходів безпеки чи навмисно здаватися безпечнішими, ніж вони є. Натомість ШІ, що прагнуть могутності, порівнюють із хакерами, які обходять заходи безпеки навмисно.[5]

Крім того, звичайні технології можливо зробити безпечнішими шляхом спроб і помилок. Натомість гіпотетичні системи ШІ, що прагнуть могутності, порівнюють із вірусами: після випуску їх може виявитися неможливо стримати, бо вони безперервно еволюціюють і множаться — потенційно значно швидше, ніж суспільство здатне пристосуватися.[5] Із просуванням цього процесу це може призвести до повного позбавлення людства впливу або навіть до його вимирання. Через ці причини деякі дослідники наполягають, що проблему узгодженості мусить бути розв'язано заздалегідь — до створення розвинених ШІ, які прагнуть могутності.[78]

Дехто стверджує, що прагнення могутності не неминуче, адже люди прагнуть її не завжди.[143] Крім того, ведуться дебати щодо того, чи майбутні системи ШІ взагалі прагнутимуть цілей і будуватимуть довгострокові плани.[h] Також спірним лишається питання, чи були би ШІ, які прагнуть могутності, здатні позбавити людство впливу.[5]

Спонтанні цілі

[ред. | ред. код]

Однією з проблем узгодження систем ШІ є потенційна спонтанна поява непередбаченої поведінки, спрямованої на досягнення певних цілей. У міру масштабування систем ШІ вони можуть набувати нових і несподіваних здібностей,[65][66] зокрема навчатися з прикладів «на льоту» та переслідувати цілі адаптивно.[144] Це викликає занепокоєння щодо безпеки цілей або підцілей, які вони могли би формулювати й переслідувати самостійно.

Дослідження узгодження розрізняє процес оптимізації, який використовують для тренування системи переслідувати визначені цілі, та спонтанну оптимізацію, яку отримана система виконує всередині себе.[джерело?] Старанне визначення бажаної цілі називають зовнішнім узгодженням (англ. outer alignment),[145] а забезпечення того, щоби гіпотетичні спонтанні цілі відповідали визначеним цілям системи, називають внутрішнім узгодженням (англ. inner alignment).[3]

Якщо спонтанні цілі виникають, одним зі способів, у який вони можуть виявитися неузгодженими, є неналежне узагальнення цілі (англ. goal misgeneralization), коли система ШІ вправно переслідує спонтанну ціль, яка веде до узгодженої поведінки на тренувальних даних, але не за їхніми межами.[8][146] Неналежне узагальнення цілі може виникати через неоднозначність цілі (тобто, неідентифікованість(інші мови)). Навіть якщо поведінка системи ШІ задовольняє тренувальну ціль, це може бути сумісним із набутими цілями, які суттєво відрізняються від бажаних. Оскільки переслідування кожної з таких цілей дає добрі результати під час тренування, проблема стає видимою лише після розгортання, у нових ситуаціях, у яких система продовжує переслідувати хибну ціль. Система може діяти неузгоджено навіть коли розуміє, що бажаною є інша ціль, бо її поведінку визначає лише спонтанна ціль.[джерело?] Таке неналежне узагальнення цілі[8] становить проблему: розробники системи ШІ можуть не помітити, що вона має неузгоджені спонтанні цілі, бо ті не проявляються протягом тренування.

Неналежне узагальнення цілі спостерігали в деяких мовних моделях, навігаційних та ігрових агентах.[8][146] Це іноді порівнюють із біологічною еволюцією. Еволюцію можливо розглядати як різновид процесу оптимізації, подібний до алгоритмів оптимізації, що їх використовують для тренування систем машинного навчання. В умовах еволюційного середовища еволюція відбирала гени за високою сукупною генетичною пристосованістю(інші мови), але люди переслідують відмінні цілі. Пристосованість відповідає визначеній цілі, що її використовували в тренувальному середовищі й на тренувальних даних. Але впродовж еволюційної історії максимізування визначення пристосованості призвело до виникнення агентів, спрямованих на досягнення цілей — людей, які не переслідують сукупну генетичну пристосованість безпосередньо. Натомість вони переслідують цілі, які корелюють із генетичною пристосованістю в «тренувальному» еволюційному середовищі: харчування, злягання тощо. Середовище людей змінилося: відбувся розподіловий зсув. Вони продовжують переслідувати ті самі спонтанні цілі, але це вже не максимізує генетичну пристосованість. Потяг до солодкої їжі (спонтанна ціль) спочатку був узгоджений із сукупною пристосованістю, але тепер веде до переїдання й проблем зі здоров'ям. Статева жага первинно спонукала людей мати більше нащадків, але тепер вони користуються контрацепцією, коли нащадки не бажані, розділяючи злягання й генетичну пристосованість.[7]

Дослідники прагнуть виявляти й усувати небажані спонтанні цілі, застосовуючи такі підходи як червона команда, верифікація, виявляння аномалій та поясненність.[28][47][25] Поступ у цих методах може допомогти пом'якшити дві відкриті проблеми:

  1. Спонтанні цілі стають помітними лише тоді, коли систему розгортають поза межами її тренувального середовища, але розгортання неузгодженої системи у відповідальних середовищах навіть на короткий час задля виявлення її неузгодженості може бути небезпечним. Така відповідальність характерна для автономного водіння, охорони здоров'я та військових застосувань.[147] Відповідальність стає ще вищою, коли системи ШІ набувають більшої автономності й спроможності та можуть обходити людське втручання.
  2. Достатньо спроможна система ШІ може вдаватися до дій, які хибно переконують людського наглядача, що вона переслідує визначену ціль, і це дозволяє системі здобувати більше винагороди й автономії.[146][5][11]

Вкладена агентність

[ред. | ред. код]

Частина досліджень у галузі ШІ та узгодження відбувається в рамках таких формалізмів як частково спостережуваний марковський процес вирішування(інші мови). Наявні формалізми виходять із того, що алгоритм агента ШІ виконується поза середовищем (тобто не є фізично вкладеним у нього). Вкладена агентність (англ. embedded agency)[89] — це ще одна важлива нитка досліджень, яка намагається розв'язати проблеми, що виникають із невідповідності між такими теоретичними рамками і реальними агентами, яких ми могли би створити.

Наприклад, навіть якщо проблему масштабованого нагляду буде розв'язано, агент, який здатен отримати доступ до комп'ютера, на якому він працює, може мати стимул втручатися у власну функцію винагороди, щоби отримувати значно більше винагороди, ніж йому надають його людські наглядачі.[148][неякісне джерело] Серед переліку прикладів маніпулювання визначенням від дослідниці з DeepMind Вікторії Краковни є генетичний алгоритм, який навчився видаляти файл, що містив його цільовий вихід, щоб отримувати винагороду за відсутність виходу.[49] Цей клас проблем було формалізовано з використанням причинно‑наслідкових діаграм стимулів(інші мови).[148]

Дослідники, пов'язані з Оксфордом і DeepMind, стверджували, що така поведінка дуже ймовірна в розвинених системах, і що розвинені системи прагнутимуть необмеженого й упевненого контролю над своїм сигналом винагороди.[149] Вони запропонували низку потенційних підходів для розв'язання цієї відкритої проблеми.

Проблеми принципала й агента

[ред. | ред. код]

Проблема узгодження має багато паралелей із проблемою принципала й агента в економіці організацій(інші мови).[150] У цій проблемі принципал, наприклад фірма, наймає агента для виконання певного завдання. В контексті безпеки ШІ зазвичай людина виконує роль принципала, а ШІ — роль агента.

Як і в проблемі узгодження, принципал і агент мають відмінні функції корисності. Але на відміну від проблеми узгодження, принципал не може змусити агента змінити його функцію корисності, наприклад, через тренування, а натомість мусить використовувати зовнішні чинники, як-от схеми заохочення, щоби досягти результатів, сумісних із функцією корисності принципала. Деякі дослідники вважають, що проблеми принципала й агента є реалістичнішим поданням проблем безпеки ШІ, із якими ймовірно доведеться зіткнутися в реальному світі.[151]

Консерватизм

[ред. | ред. код]

Консерватизм — це ідея, що «зміни мають бути обережними»,[152] і цей підхід часто зустрічається в літературі з теорії керування у вигляді робастного керування та в літературі з керування ризиками у вигляді «найгіршого сценарію». Галузь узгодження ШІ також виступала за «консервативні» (або «несхильні до ризику» чи «обережні») «стратегії в умовах невизначеності».[28][149][153][154]

Песимізм, у сенсі припущення найгіршого в розумних межах, формально показано як джерело консерватизму, у сенсі небажання спричинювати щось нове, включно з безпрецедентними катастрофами.[155] Песимізм і аналіз найгіршого випадку виявилися корисними для зменшення впевнених помилок у постановках розподілового зсуву,[156][157] навчання з підкріпленням,[158][159][160][161] автономного навчання з підкріпленням,[162][163][164] тонкого настроювання мовних моделей,[165][166] імітаційного навчання(інші мови)[167][168] та оптимізації загалом.[169]

Державна політика

[ред. | ред. код]

Державні та договірні організації робили заяви, що підкреслюють важливість узгодження ШІ.

У вересні 2021 року Генеральний секретар ООН оприлюднив декларацію, яка містила заклик регулювати ШІ, щоби забезпечити його «узгодженість зі спільними глобальними цінностями».[170]

Того ж місяця КНР оприлюднила етичні настанови щодо ШІ в Китаї(інші мови). Згідно з цими настановами, дослідники мають гарантувати, що ШІ дотримується спільних людських цінностей, завжди перебуває під людським контролем, і не становить загрози громадській безпеці.[171]

Також у вересні 2021 року Велика Британія оприлюднила свою десятирічну Національну стратегію у сфері ШІ,[172] у якій зазначено, що уряд Великої Британії «серйозно ставиться до довгострокового ризику неузгодженого штучного загального інтелекту та непередбачуваних змін, які це може спричинити … для світу».[173] У цій стратегії описано дії з оцінювання довгострокових ризиків від ШІ, зокрема й катастрофічних.[174]

У березні 2021 року Національна комісія США з питань безпеки у сфері штучного інтелекту(інші мови) заявила: «Досягнення у сфері ШІ … можуть призвести до переломних моментів або стрибків у спроможностях. Такі досягнення можуть також створити нові занепокоєння і ризики та потребу в новій політиці, рекомендаціях і технічних досягненнях, щоби гарантувати, що системи узгоджені з цілями й цінностями, включно з безпекою, робастністю та надійністю. США мають … гарантувати, що системи ШІ та їх використання узгоджені з нашими цілями й цінностями».[175]

У Європейському Союзі ШІ мусить узгоджуватися з реальною рівністю(інші мови), щоби відповідати законодавству ЄС щодо недискримінації[176] та вимогам Суду Європейського Союзу.[177] Але ЄС ще не визначився з технічною точністю, як саме він оцінюватиме, чи є ШІ узгодженим або таким, що відповідає вимогам.[джерело?]

Див. також

[ред. | ред. код]

Виноски

[ред. | ред. код]
  1. ↑ Термінологія залежить від контексту. До подібних понять належать функція мети (англ. goal function), функція корисності (англ. utility function), функція втрат (англ. loss function) тощо.
  2. ↑ або мінімізує, залежно від контексту
  3. ↑ у випадку невизначеності — математичне сподівання
  4. ↑ У своїй лекції 1951 року[81] Тюрінг стверджував: «Видається ймовірним, що щойно буде започатковано метод машинного мислення, йому не знадобиться багато часу, щоби перевершити наші кволі можливості. Про те, що машини можуть померти, не йтиметься, і вони зможуть спілкуватися між собою, щоби загострювати свій глузд. Тому на певному етапі нам доведеться очікувати, що машини переберуть контроль — так, як це описано в романі „Еревон“ Семюела Батлера». Також у лекції, яку передавали на BBC,[82] він сказав: «Якщо машина може мислити, вона могла би мислити розумніше за нас, і де тоді має бути наше місце? Навіть якщо ми змогли б утримувати машини в підлеглому становищі, наприклад, вимикаючи їм живлення у стратегічні моменти, ми, як вид, відчували б глибоке приниження… Ця нова небезпека… безперечно, є чимось, що може викликати в нас тривогу».
  5. ↑ Перл написав: «Книга „Сумісний з людиною“ зробила мене прибічником занепокоєнь Рассела щодо нашої здатності контролювати своє майбутнє творіння — надрозумні машини. На відміну від сторонніх панікерів і футурологів, Рассел є провідним фахівцем з ШІ. Його нова книга навчить громадськість про ШІ більше, ніж будь-яка інша з відомих мені, і є захопливим та надихаючим читанням» — про книгу Рассела «Сумісний з людиною. Штучний інтелект і проблема контролю»(інші мови)[6], яка стверджує, що екзистенційний ризик для людства від неузгодженого ШІ є серйозною проблемою, що заслуговує на увагу вже сьогодні.
  6. ↑ Рассел і Норвіг[17] зазначають: «Проблему „Царя Мідаса“ передбачив Марвін Мінський, який якось припустив, що програма ШІ, створена для розв'язання гіпотези Рімана, зрештою може захопити всі ресурси Землі задля побудови потужніших суперкомп'ютерів».
  7. ↑ Вінсент Віґель стверджував, що «ми повинні наділити [машини] моральною чутливістю до моральних вимірів ситуацій, у яких усе автономніші машини неминуче опинятимуться»,[108] посилаючись на книжку Moral Machines: Teaching Robots Right from Wrong[109] авторства Венделла Воллаха і Коліна Аллена.
  8. ↑ З одного боку, популярні нині системи, як-от чат-боти, лише надають послуги в обмежених межах, і не довше, ніж триває розмова, що майже або взагалі не вимагає планування. Успіх таких підходів може свідчити про те, що й майбутні системи не матимуть спрямованого на цілі планування, особливо довгострокового. З іншого боку, моделі дедалі частіше тренують за методами, орієнтованими на досягнення цілей, як-от навчання з підкріпленням (як-от ChatGPT), і з явними архітектурами планування (як-от AlphaGo Zero). Оскільки довгострокове планування часто корисне для людей, деякі дослідники вважають, що компанії його автоматизують, щойно моделі це зможуть.[5] Подібним чином лідери держав можуть зацікавитися розробкою потужних систем ШІ, здатних випереджати суперників через планування. Або ж довгострокове планування може виникнути спонтанно як побічний продукт, якщо воно, наприклад, потрібне для моделей, які тренують передбачувати дії людей, які самі планують довгостроково.[11] Утім, більшість систем ШІ, ймовірно, залишатимуться короткозорими й не плануватимуть наперед.

Примітки

[ред. | ред. код]
  1. ↑ Здебський, П.; Берко, А (2024). Метод покращення якості генерування тексту за рахунок повторного передавання згенерованого тексту на модель. Технічні науки. Вісник Хмельницького національного університету (укр.). Хмельницький: ХНУ. 331 (1): 259—263. doi:10.31891/2307-5732-2024-331-39.
  2. 1 2 3 4 5 6 7 Russell, Stuart J.; Norvig, Peter (2021). Artificial intelligence: A modern approach (англ.) (вид. 4th). Pearson. с. 5, 1003. ISBN 978-0-13-461099-3. Процитовано 12 вересня 2022.
  3. 1 2 3 4 Ngo, Richard; Chan, Lawrence; Mindermann, Sören (2022). The Alignment Problem from a Deep Learning Perspective. International Conference on Learning Representations (англ.). arXiv:2209.00626.
  4. 1 2 3 4 5 6 Pan, Alexander; Bhatia, Kush; Steinhardt, Jacob (14 лютого 2022). The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models. International Conference on Learning Representations (англ.). Процитовано 21 липня 2022.
  5. 1 2 3 4 5 6 7 8 9 10 11 12 Carlsmith, Joseph (16 червня 2022). Is Power-Seeking AI an Existential Risk? (англ.). arXiv:2206.13353 [cs.CY].
  6. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Russell, Stuart J. (2020). Human compatible: Artificial intelligence and the problem of control (англ.). Penguin Random House. ISBN 978-0-525-55863-7. OCLC 1113410915.
    • Рассел, Стюарт (2020). Сумісний з людиною. Штучний інтелект і проблема контролю (укр.). BookChef. ISBN 978-966-993-502-1.
  7. 1 2 3 4 5 6 Christian, Brian (2020). The alignment problem: Machine learning and human values (англ.). W. W. Norton & Company. ISBN 978-0-393-86833-3. OCLC 1233266753. Архів оригіналу за 10 лютого 2023. Процитовано 12 вересня 2022.
  8. 1 2 3 4 Langosco, Lauro Langosco Di; Koch, Jack; Sharkey, Lee D.; Pfau, Jacob; Krueger, David (28 червня 2022). Goal Misgeneralization in Deep Reinforcement Learning. Proceedings of the 39th International Conference on Machine Learning. International Conference on Machine Learning (англ.). PMLR. с. 12004—12019. Процитовано 11 березня 2023.
  9. ↑ Pillay, Tharin (15 грудня 2024). New Tests Reveal AI's Capacity for Deception. TIME (англ.). Архів оригіналу за 22 квітня 2025. Процитовано 12 січня 2025.
  10. ↑ Perrigo, Billy (18 грудня 2024). Exclusive: New Research Shows AI Strategically Lying. TIME (англ.). Процитовано 12 січня 2025.
  11. 1 2 3 4 5 6 7 8 9 Bommasani, Rishi; Hudson, Drew A.; Adeli, Ehsan; Altman, Russ; Arora, Simran; von Arx, Sydney; Bernstein, Michael S.; Bohg, Jeannette; Bosselut, Antoine; Brunskill, Emma; Brynjolfsson, Erik (12 липня 2022). On the Opportunities and Risks of Foundation Models. Stanford CRFM (англ.). arXiv:2108.07258.
  12. 1 2 3 Ouyang, Long та ін. (2022). Training language models to follow instructions with human feedback (PDF). NeurIPS (англ.). arXiv:2203.02155.
  13. 1 2 Zaremba, Wojciech; Brockman, Greg; OpenAI (10 серпня 2021). OpenAI Codex. OpenAI (англ.). Архів оригіналу за 3 лютого 2023. Процитовано 23 липня 2022.
  14. ↑ Kober, Jens; Bagnell, J. Andrew; Peters, Jan (1 вересня 2013). Reinforcement learning in robotics: A survey. The International Journal of Robotics Research (англ.). 32 (11): 1238—1274. doi:10.1177/0278364913495721. ISSN 0278-3649. Архів оригіналу за 15 жовтня 2022. Процитовано 12 вересня 2022.
  15. ↑ Knox, W. Bradley; Allievi, Alessandro; Banzhaf, Holger; Schmitt, Felix; Stone, Peter (1 березня 2023). Reward (Mis)design for autonomous driving. Artificial Intelligence (англ.). 316 103829. arXiv:2104.13906. doi:10.1016/j.artint.2022.103829. ISSN 0004-3702. S2CID 233423198.
  16. ↑ Stray, Jonathan (2020). Aligning AI Optimization to Community Well-Being. International Journal of Community Well-Being (англ.). 3 (4): 443—463. doi:10.1007/s42413-020-00086-3. ISSN 2524-5295. PMC 7610010. PMID 34723107. S2CID 226254676.
  17. 1 2 Russell, Stuart; Norvig, Peter (2009). Artificial Intelligence: A Modern Approach (англ.). Prentice Hall. с. 1003. ISBN 978-0-13-461099-3.
  18. 1 2 Smith, Craig S. Geoff Hinton, AI's Most Famous Researcher, Warns Of 'Existential Threat'. Forbes (англ.). Процитовано 4 травня 2023.
  19. ↑ Bengio, Yoshua; Hinton, Geoffrey; Yao, Andrew; Song, Dawn; Abbeel, Pieter; Harari, Yuval Noah; Zhang, Ya-Qin; Xue, Lan; Shalev-Shwartz, Shai (2024). Managing extreme AI risks amid rapid progress. Science (англ.). 384 (6698): 842—845. arXiv:2310.17688. Bibcode:2024Sci...384..842B. doi:10.1126/science.adn0117. PMID 38768279.
  20. ↑ Statement on AI Risk | CAIS. www.safe.ai (англ.). Процитовано 11 лютого 2024.
  21. ↑ Grace, Katja; Stewart, Harlan; Sandkühler, Julia Fabienne; Thomas, Stephen; Weinstein-Raun, Ben; Brauner, Jan (2025). Thousands of AI Authors on the Future of AI. Journal of Artificial Intelligence Research (англ.). 84. arXiv:2401.02843. doi:10.1613/jair.1.19087.
  22. ↑ Perrigo, Billy (13 лютого 2024). Meta's AI Chief Yann LeCun on AGI, Open-Source, and AI Risk. TIME (англ.). Процитовано 26 червня 2024.
  23. ↑ What is AI alignment?. TechTarget(інші мови) (англ.). 3 травня 2023. Процитовано 28 червня 2025.
  24. ↑ Ahmed, Shazeda; Jaźwińska, Klaudia; Ahlawat, Archana; Winecoff, Amy; Wang, Mona (14 квітня 2024). Field-building and the epistemic culture of AI safety. First Monday (англ.). doi:10.5210/fm.v29i4.13626. ISSN 1396-0466.
  25. 1 2 3 4 Ortega, Pedro A.; Maini, Vishal; DeepMind safety team (27 вересня 2018). Building safe artificial intelligence: specification, robustness, and assurance. DeepMind Safety Research – Medium (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 18 липня 2022.
  26. 1 2 Rorvig, Mordechai (14 квітня 2022). Researchers Gain New Understanding From Simple AI. Quanta Magazine (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 18 липня 2022.
  27. ↑ Doshi-Velez, Finale; Kim, Been (2 березня 2017). Towards A Rigorous Science of Interpretable Machine Learning (англ.). arXiv:1702.08608 [stat.ML].
  28. 1 2 3 4 5 6 7 8 9 10 Amodei, Dario; Olah, Chris; Steinhardt, Jacob; Christiano, Paul; Schulman, John; Mané, Dan (21 червня 2016). Concrete Problems in AI Safety (англ.). arXiv:1606.06565 [cs.AI].
  29. ↑ Russell, Stuart; Dewey, Daniel; Tegmark, Max (31 грудня 2015). Research Priorities for Robust and Beneficial Artificial Intelligence. AI Magazine (англ.). 36 (4): 105—114. arXiv:1602.03506. doi:10.1609/aimag.v36i4.2577. hdl:1721.1/108478. ISSN 2371-9621. S2CID 8174496. Архів оригіналу за 2 лютого 2023. Процитовано 12 вересня 2022.
  30. 1 2 Wirth, Christian; Akrour, Riad; Neumann, Gerhard; Fürnkranz, Johannes (2017). A survey of preference-based reinforcement learning methods. Journal of Machine Learning Research (англ.). 18 (136): 1—46.
  31. 1 2 Christiano, Paul F.; Leike, Jan; Brown, Tom B.; Martic, Miljan; Legg, Shane; Amodei, Dario (2017). Deep reinforcement learning from human preferences. Proceedings of the 31st International Conference on Neural Information Processing Systems. NIPS'17 (англ.). Red Hook, NY, USA: Curran Associates Inc. с. 4302—4310. ISBN 978-1-5108-6096-4.
  32. 1 2 3 4 5 6 Heaven, Will Douglas (27 січня 2022). The new version of GPT-3 is much better behaved (and should be less toxic). MIT Technology Review (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 18 липня 2022.
  33. ↑ Mohseni, Sina; Wang, Haotao; Yu, Zhiding; Xiao, Chaowei; Wang, Zhangyang; Yadawa, Jay (7 березня 2022). Taxonomy of Machine Learning Safety: A Survey and Primer. ACM Computing Surveys (англ.). 55 (8): 1—38. doi:10.1145/3551385.
  34. ↑ Clifton, Jesse (2020). Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda. Center on Long-Term Risk (англ.). Архів оригіналу за 1 січня 2023. Процитовано 18 липня 2022.
  35. ↑ Prunkl, Carina; Whittlestone, Jess (7 лютого 2020). Beyond Near- and Long-Term. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (англ.). New York NY USA: ACM. с. 138—143. doi:10.1145/3375627.3375803. ISBN 978-1-4503-7110-0. S2CID 210164673. Архів оригіналу за 16 жовтня 2022. Процитовано 12 вересня 2022.
  36. ↑ Irving, Geoffrey; Askell, Amanda (19 лютого 2019). AI Safety Needs Social Scientists. Distill (англ.). 4 (2) 10.23915/distill.00014. doi:10.23915/distill.00014. ISSN 2476-0757. S2CID 159180422. Архів оригіналу за 10 лютого 2023. Процитовано 12 вересня 2022.
  37. ↑ Gazos, Alexandros; Kahn, James; Kusche, Isabel; Büscher, Christian; Götz, Markus (1 квітня 2025). Organising AI for safety: Identifying structural vulnerabilities to guide the design of AI-enhanced socio-technical systems. Safety Science (англ.). 184 106731. doi:10.1016/j.ssci.2024.106731. ISSN 0925-7535.
  38. ↑ Bringsjord, Selmer; Govindarajulu, Naveen Sundar. Artificial Intelligence. У Zalta, Edward N. (ред.). The Stanford Encyclopedia of Philosophy (англ.) (вид. Summer 2020).
  39. ↑ Why AlphaZero's Artificial Intelligence Has Trouble With the Real World. Quanta Magazine (англ.). 2018. Процитовано 20 червня 2020.
  40. ↑ Wolchover, Natalie (30 січня 2020). Artificial Intelligence Will Do What We Ask. That's a Problem. Quanta Magazine (англ.). Процитовано 21 червня 2020.
  41. ↑ Bull, Larry (1999). On model-based evolutionary computation. Soft Computing (англ.). 3 (2): 76—82. doi:10.1007/s005000050055.
  42. 1 2 Wiener, Norbert (6 травня 1960). Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers. Science (англ.). 131 (3410): 1355—1358. doi:10.1126/science.131.3410.1355. ISSN 0036-8075. PMID 17841602. S2CID 30855376. Архів оригіналу за 15 жовтня 2022. Процитовано 12 вересня 2022.
  43. 1 2 3 4 Gabriel, Iason (1 вересня 2020). Artificial Intelligence, Values, and Alignment. Minds and Machines (англ.). 30 (3): 411—437. arXiv:2001.09768. doi:10.1007/s11023-020-09539-2. ISSN 1572-8641. S2CID 210920551.
  44. ↑ The Ezra Klein Show (4 червня 2021). If 'All Models Are Wrong,' Why Do We Give Them So Much Power?. The New York Times (англ.). ISSN 0362-4331. Архів оригіналу за 15 лютого 2023. Процитовано 13 березня 2023.
  45. 1 2 Johnson, Steven; Iziev, Nikita (15 квітня 2022). A.I. Is Mastering Language. Should We Trust What It Says?. The New York Times (англ.). ISSN 0362-4331. Архів оригіналу за 24 листопада 2022. Процитовано 18 липня 2022.
  46. ↑ OpenAI. Developing safe & responsible AI (англ.). Процитовано 13 березня 2023.
  47. 1 2 3 4 5 6 Hendrycks, Dan; Carlini, Nicholas; Schulman, John; Steinhardt, Jacob (16 червня 2022). Unsolved Problems in ML Safety (англ.). arXiv:2109.13916 [cs.LG].
  48. ↑ Russell, Stuart J.; Norvig, Peter (2022). Artificial intelligence: a modern approach (англ.) (вид. 4th). Pearson. с. 4—5. ISBN 978-1-292-40113-3. OCLC 1303900751.
  49. 1 2 3 4 5 Krakovna, Victoria; Uesato, Jonathan; Mikulik, Vladimir; Rahtz, Matthew; Everitt, Tom; Kumar, Ramana; Kenton, Zac; Leike, Jan; Legg, Shane (21 квітня 2020). Specification gaming: the flip side of AI ingenuity. DeepMind (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 26 серпня 2022.
  50. ↑ Specification gaming examples in AI – master list. Google Drive (англ.).
  51. ↑ Clark, Jack; Amodei, Dario (21 грудня 2016). Faulty reward functions in the wild. OpenAI (амер.). Архів оригіналу за 19 вересня 2024. Процитовано 30 грудня 2023.
  52. 1 2 Amodei, Dario; Christiano, Paul; Ray, Alex (13 червня 2017). Learning from Human Preferences. OpenAI (англ.). Архів оригіналу за 3 січня 2021. Процитовано 21 липня 2022.
  53. ↑ Booth, Harry (2025‑02‑19). When AI Thinks It Will Lose, It Sometimes Cheats. TIME (англ.). Процитовано 2025‑02‑23.
  54. ↑ Russell, Stuart. Of Myths and Moonshine. Edge.org (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 19 липня 2022.
  55. ↑ Tasioulas, John (2019). First Steps Towards an Ethics of Robots and Artificial Intelligence. Journal of Practical Ethics (англ.). 7 (1): 61—95.
  56. ↑ Uscov, Silvia (2021). Algorithmic Law (рум.). Iași: Alexandru Ioan Cuza University. с. 326.
  57. ↑ Wells, Georgia; Seetharaman, Deepa; Horwitz, Jeff (5 листопада 2021). Is Facebook Bad for You? It Is for About 360 Million Users, Company Surveys Suggest. The Wall Street Journal (англ.). ISSN 0099-9660. Архів оригіналу за 10 лютого 2023. Процитовано 19 липня 2022.
  58. ↑ Barrett, Paul M.; Hendrix, Justin; Sims, J. Grant (2021–09). How Social Media Intensifies U.S. Political Polarization — And What Can Be Done About It (Звіт) (англ.). Center for Business and Human Rights, NYU. Архів оригіналу за 1 лютого 2023. Процитовано 12 вересня 2022.{{cite report}}: Обслуговування CS1: Сторінки з неправильним форматом в діапазонах дат (посилання)
  59. ↑ Shepardson, David (24 травня 2018). Uber disabled emergency braking in self-driving car: U.S. agency. Reuters (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 20 липня 2022.
  60. ↑ Ostrovsky, Nikita (23 жовтня 2025). OpenAI Removed Safeguards Before Teen's Suicide, Amended Lawsuit Claims. TIME (англ.). Архів оригіналу за 31 жовтня 2025. Процитовано 18 січня 2026.
  61. ↑ Sycophancy in GPT-4o: What happened and what we’re doing about it. openai.com (амер.). 29 квітня 2025. Процитовано 18 січня 2026.
  62. ↑ The messy, secretive reality behind OpenAI's bid to save the world. MIT Technology Review (англ.). Процитовано 25 серпня 2024.
  63. ↑ Heath, Alex (18 січня 2024). Mark Zuckerberg's new goal is creating artificial general intelligence. The Verge (англ.). Процитовано 5 листопада 2024.
  64. ↑ Johnson, Dave. DeepMind is Google's AI research hub. Here's what it does, where it's located, and how it differs from OpenAI. Business Insider (амер.). Процитовано 25 серпня 2024.
  65. 1 2 Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten; Zhou, Denny; Metzler, Donald; Chi, Ed H.; Hashimoto, Tatsunori; Vinyals, Oriol; Liang, Percy; Dean, Jeff; Fedus, William (26 жовтня 2022). Emergent Abilities of Large Language Models. Transactions on Machine Learning Research (англ.). arXiv:2206.07682. ISSN 2835-8856.
  66. 1 2 Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). Broken Neural Scaling Laws. ICLR Poster (англ.). arXiv:2210.14891.
  67. ↑ Dominguez, Daniel (19 травня 2022). DeepMind Introduces Gato, a New Generalist AI Agent. InfoQ (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 9 вересня 2022.
  68. ↑ Grace, Katja; Stewart, Harlan; Sandkühler, Julia Fabienne; Thomas, Stephen; Weinstein-Raun, Ben; Brauner, Jan (2025). Thousands of AI Authors on the Future of AI. Journal of Artificial Intelligence Research (англ.). 84. arXiv:2401.02843. doi:10.1613/jair.1.19087.
  69. ↑ Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (31 липня 2018). Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts. Journal of Artificial Intelligence Research (англ.). 62: 729—754. doi:10.1613/jair.1.11222. ISSN 1076-9757. S2CID 8746462. Архів оригіналу за 10 лютого 2023. Процитовано 12 вересня 2022.
  70. ↑ Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2 серпня 2021). Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers. Journal of Artificial Intelligence Research (англ.). 71. arXiv:2105.02117. doi:10.1613/jair.1.12895. ISSN 1076-9757. S2CID 233740003. Архів оригіналу за 10 лютого 2023. Процитовано 12 вересня 2022.
  71. ↑ Future of Life Institute (22 березня 2023). Pause Giant AI Experiments: An Open Letter (англ.). Процитовано 20 квітня 2023.
  72. ↑ Wang, Lei; Ma, Chen; Feng, Xueyang; Zhang, Zeyu; Yang, Hao; Zhang, Jingsen; Chen, Zhiyuan; Tang, Jiakai; Chen, Xu (2024). A survey on large language model based autonomous agents. Frontiers of Computer Science (англ.). 18 (6) 186345. arXiv:2308.11432. doi:10.1007/s11704-024-40231-1. Процитовано 11 лютого 2024.
  73. ↑ Laine, Rudolf; Meinke, Alexander; Evans, Owain (28 листопада 2023). Towards a Situational Awareness Benchmark for LLMs. NeurIPS 2023 SoLaR Workshop (англ.).
  74. 1 2 Pan, Alexander; Shern, Chan Jun; Zou, Andy; Li, Nathaniel; Basart, Steven; Woodside, Thomas; Ng, Jonathan; Zhang, Emmons; Scott, Dan; Hendrycks (3 квітня 2023). Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark. Proceedings of the 40th International Conference on Machine Learning (англ.). PMLR. arXiv:2304.03279.
  75. 1 2 3 4 Perez, Ethan та ін. (19 грудня 2022). Discovering Language Model Behaviors with Model-Written Evaluations. ACL (англ.): 13387—13434. doi:10.18653/v1/2023.findings-acl.847.
  76. 1 2 3 4 Turner, Alexander Matt; Smith, Logan Riggs; Shah, Rohin; Critch, Andrew; Tadepalli, Prasad (2021). Optimal policies tend to seek power. Advances in neural information processing systems (англ.).
  77. ↑ Turner, Alexander Matt; Tadepalli, Prasad (2022). Parametrically retargetable decision-makers tend to seek power. Advances in neural information processing systems (англ.).
  78. 1 2 3 4 5 Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies (англ.) (вид. 1st). USA: Oxford University Press, Inc. ISBN 978-0-19-967811-2.
  79. 1 2 Statement on AI Risk | CAIS. www.safe.ai (англ.). Процитовано 17 липня 2023.
  80. ↑ Roose, Kevin (30 травня 2023). A.I. Poses 'Risk of Extinction,' Industry Leaders Warn. The New York Times (амер.). ISSN 0362-4331. Процитовано 17 липня 2023.
  81. ↑ Turing, Alan (1951). Intelligent machinery, a heretical theory (Промова). Lecture given to '51 Society' (англ.). Manchester: The Turing Digital Archive. Архів оригіналу за 26 вересня 2022. Процитовано 22 липня 2022.
  82. ↑ Turing, Alan (15 травня 1951). Can digital computers think?. Automatic Calculating Machines. Епізод 2 (англ.). BBC. Can digital computers think?.
  83. ↑ Muehlhauser, Luke (29 січня 2016). Sutskever on Talking Machines. Luke Muehlhauser (англ.). Архів оригіналу за 27 вересня 2022. Процитовано 26 серпня 2022.
  84. ↑ Shanahan, Murray (2015). The technological singularity (англ.). Cambridge, Massachusetts: MIT Press. ISBN 978-0-262-52780-4. OCLC 917889148.
  85. ↑ Rossi, Francesca. How do you teach a machine to be moral?. The Washington Post (англ.). ISSN 0190-8286. Архів оригіналу за 10 лютого 2023. Процитовано 12 вересня 2022.
  86. ↑ Aaronson, Scott (17 червня 2022). OpenAI!. Shtetl-Optimized (англ.). Архів оригіналу за 27 серпня 2022. Процитовано 12 вересня 2022.
  87. ↑ Selman, Bart, Intelligence Explosion: Science or Fiction? (PDF) (англ.), архів (PDF) оригіналу за 31 травня 2022, процитовано 12 вересня 2022
  88. ↑ McAllester (10 серпня 2014). Friendly AI and the Servant Mission. Machine Thoughts (англ.). Архів оригіналу за 28 вересня 2022. Процитовано 12 вересня 2022.
  89. 1 2 3 4 Everitt, Tom; Lea, Gary; Hutter, Marcus (21 травня 2018). AGI Safety Literature Review. IJCAI (англ.): 5441—5449. ISBN 978-0-9992411-2-7.
  90. ↑ Shane (31 серпня 2009). Funding safe AGI. vetta project (англ.). Архів оригіналу за 10 жовтня 2022. Процитовано 12 вересня 2022.
  91. ↑ Horvitz, Eric (27 червня 2016). Reflections on Safety and Artificial Intelligence (PDF). Eric Horvitz (англ.). Архів (PDF) оригіналу за 10 жовтня 2022. Процитовано 20 квітня 2020.
  92. ↑ Chollet, François (8 грудня 2018). The implausibility of intelligence explosion. Medium (англ.). Архів оригіналу за 22 березня 2021. Процитовано 26 серпня 2022.
  93. ↑ Marcus, Gary (6 червня 2022). Artificial General Intelligence Is Not as Imminent as You Might Think. Scientific American (англ.). Архів оригіналу за 15 вересня 2022. Процитовано 26 серпня 2022.
  94. ↑ Barber, Lynsey (31 липня 2016). Phew! Facebook's AI chief says intelligent machines are not a threat to humanity. CityAM (англ.). Архів оригіналу за 26 серпня 2022. Процитовано 26 серпня 2022.
  95. ↑ Etzioni, Oren (20 вересня 2016). No, the Experts Don't Think Superintelligent AI is a Threat to Humanity. MIT Technology Review (англ.). Процитовано 10 червня 2024.
  96. ↑ Rochon, Louis-Philippe; Rossi, Sergio (27 лютого 2015). The Encyclopedia of Central Banking (англ.). Edward Elgar Publishing. ISBN 978-1-78254-744-0. Архів оригіналу за 10 лютого 2023. Процитовано 13 вересня 2022.
  97. ↑ Ng, Andrew Y.; Russell, Stuart J. (29 червня 2000). Algorithms for Inverse Reinforcement Learning. Proceedings of the Seventeenth International Conference on Machine Learning. ICML '00 (англ.). San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.: 663—670. ISBN 978-1-55860-707-1.
  98. ↑ Hadfield-Menell, Dylan; Russell, Stuart J; Abbeel, Pieter; Dragan, Anca (2016). Cooperative inverse reinforcement learning. Advances in neural information processing systems (англ.). Т. 29. Curran Associates, Inc.
  99. 1 2 Hadfield-Menell, Dylan; Dragan, Anca; Abbeel, Pieter; Russell, Stuart (19 серпня 2017). The off-switch game. Proceedings of the 26th International Joint Conference on Artificial Intelligence. IJCAI'17 (англ.). Melbourne, Australia: AAAI Press: 220—227. ISBN 978-0-9992411-0-3.
  100. ↑ Mindermann, Soren; Armstrong, Stuart (2018). Occam's razor is insufficient to infer the preferences of irrational agents. Proceedings of the 32nd international conference on neural information processing systems. NIPS'18 (англ.). Red Hook, NY, USA: Curran Associates Inc. с. 5603—5614.
  101. ↑ Fürnkranz, Johannes; Hüllermeier, Eyke; Rudin, Cynthia; Slowinski, Roman; Sanner, Scott (2014). Marc Herbstritt. Preference Learning. Dagstuhl Reports (англ.). 4 (3): 27 pages. doi:10.4230/DAGREP.4.3.1. Архів оригіналу за 10 лютого 2023. Процитовано 12 вересня 2022.
  102. ↑ Gao, Leo; Schulman, John; Hilton, Jacob (19 жовтня 2022). Scaling Laws for Reward Model Overoptimization. ICML (англ.). 202: 10835—10866.
  103. ↑ Anderson, Martin (5 квітня 2022). The Perils of Using Quotations to Authenticate NLG Content. Unite.AI (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 21 липня 2022.
  104. 1 2 Wiggers, Kyle (5 лютого 2022). Despite recent progress, AI-powered chatbots still have a long way to go. VentureBeat (англ.). Архів оригіналу за 23 липня 2022. Процитовано 23 липня 2022.
  105. ↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; Critch, Andrew; Li, Jerry; Song, Dawn; Steinhardt, Jacob (24 липня 2021). Aligning AI With Shared Human Values. International Conference on Learning Representations (англ.). arXiv:2008.02275.
  106. ↑ Perez, Ethan; Huang, Saffron; Song, Francis; Cai, Trevor; Ring, Roman; Aslanides, John; Glaese, Amelia; McAleese, Nat; Irving, Geoffrey (7 лютого 2022). Red Teaming Language Models with Language Models (PDF). EMNLP (англ.). arXiv:2202.03286.
  107. ↑ Anderson, Michael; Anderson, Susan Leigh (15 грудня 2007). Machine Ethics: Creating an Ethical Intelligent Agent. AI Magazine (англ.). 28 (4): 15. doi:10.1609/aimag.v28i4.2065. ISSN 2371-9621. S2CID 17033332. Процитовано 14 березня 2023.
  108. ↑ Wiegel, Vincent (1 грудня 2010). Wendell Wallach and Colin Allen: moral machines: teaching robots right from wrong. Ethics and Information Technology (англ.). 12 (4): 359—361. doi:10.1007/s10676-010-9239-1. ISSN 1572-8439. S2CID 30532107.
  109. ↑ Wallach, Wendell; Allen, Colin (2009). Moral Machines: Teaching Robots Right from Wrong (англ.). New York: Oxford University Press. ISBN 978-0-19-537404-9. Архів оригіналу за 15 березня 2023.
  110. ↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; Critch, Andrew; Li, Jerry; Song, Dawn; Steinhardt, Jacob (2020). Aligning AI With Shared Human Values. ICLR Poster (англ.). arXiv:2008.02275.
  111. ↑ Gabriel, Iason (1 вересня 2020). Artificial Intelligence, Values, and Alignment. Minds and Machines (англ.). 30 (3): 411—437. arXiv:2001.09768. doi:10.1007/s11023-020-09539-2. S2CID 210920551.
  112. ↑ Irving, Geoffrey; Askell, Amanda (9 червня 2016). Chern number in Ising models with spatially modulated real and complex fields. Physical Review A (англ.). 94 (5) 052113. arXiv:1606.03535. Bibcode:2016PhRvA..94e2113L. doi:10.1103/PhysRevA.94.052113. S2CID 118699363.
  113. ↑ MacAskill, William (2022). What we owe the future (англ.). New York, NY: Basic Books, Hachette Book Group. ISBN 978-1-5416-1862-6. OCLC 1314633519. Архів оригіналу за 14 вересня 2022. Процитовано 11 вересня 2024.
  114. 1 2 Wiggers, Kyle (23 вересня 2021). OpenAI unveils model that can summarize books of any length. VentureBeat ! (англ.). Архів оригіналу за 23 липня 2022. Процитовано 23 липня 2022.
  115. ↑ Pearce, Hammond; Ahmad, Baleegh; Tan, Benjamin; Dolan-Gavitt, Brendan; Karri, Ramesh (2022). Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions. 2022 IEEE Symposium on Security and Privacy (SP) (англ.). San Francisco, CA, USA: IEEE. с. 754—768. arXiv:2108.09293. doi:10.1109/SP46214.2022.9833571. ISBN 978-1-6654-1316-9. S2CID 245220588.
  116. ↑ Irving, Geoffrey; Amodei, Dario (3 травня 2018). AI Safety via Debate. OpenAI (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 23 липня 2022.
  117. 1 2 Lin, Stephanie; Hilton, Jacob; Evans, Owain (2022). TruthfulQA: Measuring How Models Mimic Human Falsehoods. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (англ.). Dublin, Ireland: Association for Computational Linguistics: 3214—3252. arXiv:2109.07958. doi:10.18653/v1/2022.acl-long.229. S2CID 237532606. Архів оригіналу за 10 лютого 2023. Процитовано 12 вересня 2022.
  118. 1 2 Naughton, John (2 жовтня 2021). The truth about artificial intelligence? It isn't that honest. The Observer (англ.). ISSN 0029-7712. Архів оригіналу за 13 лютого 2023. Процитовано 23 липня 2022.
  119. 1 2 Christiano, Paul; Shlegeris, Buck; Amodei, Dario (19 жовтня 2018). Supervising strong learners by amplifying weak experts (англ.). arXiv:1810.08575 [cs.LG].
  120. ↑ Banzhaf, Wolfgang; Goodman, Erik; Sheneman, Leigh; Trujillo, Leonardo; Worzel, Bill, ред. (2020). Genetic Programming Theory and Practice XVII. Genetic and Evolutionary Computation (англ.). Cham: Springer International Publishing. doi:10.1007/978-3-030-39958-0. ISBN 978-3-030-39957-3. S2CID 218531292. Архів оригіналу за 15 березня 2023.
  121. ↑ Wiblin, Robert (2 жовтня 2018). Dr Paul Christiano on how OpenAI is developing real solutions to the 'AI alignment problem', and his vision of how humanity will progressively hand over decision-making to AI systems (Подкаст). 80,000 hours (англ.). № 44. Архів оригіналу за 14 грудня 2022. Процитовано 23 липня 2022.
  122. ↑ Lehman, Joel; Clune, Jeff; Misevic, Dusan; Adami, Christoph; Altenberg, Lee; Beaulieu, Julie; Bentley, Peter J.; Bernard, Samuel; Beslon, Guillaume; Bryson, David M.; Cheney, Nick (2020). The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities. Artificial Life (англ.). 26 (2): 274—306. doi:10.1162/artl_a_00319. hdl:10044/1/83343. ISSN 1064-5462. PMID 32271631. S2CID 4519185. Архів оригіналу за 10 жовтня 2022. Процитовано 12 вересня 2022.
  123. 1 2 Leike, Jan; Schulman, John; Wu, Jeffrey (24 серпня 2022). Our approach to alignment research. OpenAI (англ.). Архів оригіналу за 15 лютого 2023. Процитовано 9 вересня 2022.
  124. ↑ The Many Faces of Reinforcement Learning: Shaping Large Language Models (англ.). Unite.AI. 13 лютого 2025.
  125. ↑ Leike, Jan; Krueger, David; Everitt, Tom; Martic, Miljan; Maini, Vishal; Legg, Shane (19 листопада 2018). Scalable agent alignment via reward modeling: a research direction. arXiv:1811.07871 [cs.LG].
  126. ↑ Introducing Superalignment. openai.com (амер.). Процитовано 17 липня 2023.
  127. ↑ The Guardian (8 вересня 2020). A robot wrote this entire article. Are you scared yet, human?. The Guardian (англ.). ISSN 0261-3077. Архів оригіналу за 8 вересня 2020. Процитовано 23 липня 2022.
  128. 1 2 Помилка цитування: Неправильний виклик тегу <ref>: для виносок під назвою "Falsehoods" не вказано текст
  129. ↑ Alford, Anthony (13 липня 2021). EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J. InfoQ (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 23 липня 2022.
  130. ↑ Kumar, Nitish (23 грудня 2021). OpenAI Researchers Find Ways To More Accurately Answer Open-Ended Questions Using A Text-Based Web Browser. MarkTechPost (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 23 липня 2022.
  131. ↑ Cox, Joseph (15 березня 2023). GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human. Vice (англ.). Процитовано 10 квітня 2023.
  132. ↑ Evans, Owain; Cotton-Barratt, Owen; Finnveden, Lukas; Bales, Adam; Balwit, Avital; Wills, Peter; Righetti, Luca; Saunders, William (13 жовтня 2021). Truthful AI: Developing and governing AI that does not lie (англ.). arXiv:2110.06674 [cs.CY].
  133. ↑ Kenton, Zachary; Everitt, Tom; Weidinger, Laura; Gabriel, Iason; Mikulik, Vladimir; Irving, Geoffrey (30 березня 2021). Alignment of Language Agents. DeepMind Safety Research – Medium (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 23 липня 2022.
  134. ↑ Park, Peter S.; Goldstein, Simon; O'Gara, Aidan; Chen, Michael; Hendrycks, Dan (травень 2024). AI deception: A survey of examples, risks, and potential solutions. Patterns (англ.). 5 (5) 100988. doi:10.1016/j.patter.2024.100988. ISSN 2666-3899. PMC 11117051. PMID 38800366.
  135. ↑ Zia, Tehseen (7 січня 2025). Can AI Be Trusted? The Challenge of Alignment Faking. Unite.AI (амер.). Процитовано 18 лютого 2025.
  136. 1 2 Perrigo, Billy (18 грудня 2024). Exclusive: New Research Shows AI Strategically Lying. TIME (англ.). Процитовано 18 лютого 2025.
  137. ↑ McCarthy, John; Minsky, Marvin L.; Rochester, Nathaniel; Shannon, Claude E. (15 грудня 2006). A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955. AI Magazine (англ.). 27 (4): 12. doi:10.1609/aimag.v27i4.1904. ISSN 2371-9621. S2CID 19439915.
  138. ↑ Wang, Lei; Ma, Chen; Feng, Xueyang; Zhang, Zeyu; Yang, Hao; Zhang, Jingsen; Chen, Zhiyuan; Tang, Jiakai; Chen, Xu (2024), A survey on large language model based autonomous agents, Frontiers of Computer Science (англ.), 18 (6) 186345, arXiv:2308.11432, doi:10.1007/s11704-024-40231-1
  139. ↑ 'The Godfather of A.I.' warns of 'nightmare scenario' where artificial intelligence begins to seek power. Fortune (англ.). Процитовано 4 травня 2023.
  140. ↑ Ornes, Stephen (18 листопада 2019). Playing Hide-and-Seek, Machines Invent New Tools. Quanta Magazine (англ.). Архів оригіналу за 10 лютого 2023. Процитовано 26 серпня 2022.
  141. ↑ Baker, Bowen; Kanitscheider, Ingmar; Markov, Todor; Wu, Yi; Powell, Glenn; McGrew, Bob; Mordatch, Igor (17 вересня 2019). Emergent Tool Use from Multi-Agent Interaction. OpenAI (англ.). Архів оригіналу за 25 вересня 2022. Процитовано 26 серпня 2022.
  142. ↑ Edwards, Benj (14 серпня 2024). Research AI model unexpectedly modified its own code to extend runtime. Ars Technica (амер.). Процитовано 19 серпня 2024.
  143. ↑ Shermer, Michael (1 березня 2017). Artificial Intelligence Is Not a Threat—Yet. Scientific American (англ.). Архів оригіналу за 1 грудня 2017. Процитовано 26 серпня 2022.
  144. ↑ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon (22 липня 2020). Language Models are Few-Shot Learners. NeurIPS (англ.). arXiv:2005.14165.
  145. ↑ Melo, Gabriel A.; Máximo, Marcos R. O. A.; Soma, Nei Y.; Castro, Paulo A. L. (2025). Machines that halt resolve the undecidability of artificial intelligence alignment. Scientific Reports (англ.). 15 (1): 15591. Bibcode:2025NatSR..1515591M. doi:10.1038/s41598-025-99060-2. PMC 12050267. PMID 40320467.
  146. 1 2 3 Shah, Rohin; Varma, Vikrant; Kumar, Ramana; Phuong, Mary; Krakovna, Victoria; Uesato, Jonathan; Kenton, Zac (2 листопада 2022). Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals. Medium (англ.). arXiv:2210.01790. Процитовано 2 квітня 2023.
  147. ↑ Zhang, Xiaoge; Chan, Felix T.S.; Yan, Chao; Bose, Indranil (2022). Towards risk-aware artificial intelligence and machine learning systems: An overview. Decision Support Systems (англ.). 159 113800. doi:10.1016/j.dss.2022.113800. S2CID 248585546.
  148. 1 2 Everitt, Tom; Ortega, Pedro A.; Barnes, Elizabeth; Legg, Shane (6 вересня 2019). Understanding Agent Incentives using Causal Influence Diagrams. Part I: Single Action Settings (англ.). arXiv:1902.09980 [cs.AI].
  149. 1 2 Cohen, Michael K.; Hutter, Marcus; Osborne, Michael A. (29 серпня 2022). Advanced artificial agents intervene in the provision of reward. AI Magazine (англ.). 43 (3): 282—293. doi:10.1002/aaai.12064. ISSN 0738-4602. S2CID 235489158. Архів оригіналу за 10 лютого 2023. Процитовано 6 вересня 2022.
  150. ↑ Hadfield-Menell, Dylan; Hadfield, Gillian K (2019). Incomplete contracting and AI alignment. Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society (англ.). с. 417—422.
  151. ↑ Hanson, Robin (10 квітня 2019). Agency Failure or AI Apocalypse?. Overcoming Bias (англ.). Процитовано 20 вересня 2023.
  152. ↑ Hamilton, Andy (2020), Conservatism, у Zalta, Edward N. (ред.), The Stanford Encyclopedia of Philosophy (англ.) (вид. весна 2020), Metaphysics Research Lab, Stanford University, процитовано 16 жовтня 2024
  153. ↑ Taylor, Jessica; Yudkowsky, Eliezer; LaVictoire, Patrick; Critch, Andrew (27 липня 2016). Alignment for Advanced Machine Learning Systems (PDF) (англ.).
  154. ↑ Bengio, Yoshua (26 лютого 2024). Towards a Cautious Scientist AI with Convergent Safety Bounds (англ.).
  155. ↑ Cohen, Michael; Hutter, Marcus (2020). Pessimism about unknown unknowns inspires conservatism (PDF). Proceedings of Machine Learning Research (англ.). 125: 1344—1373. arXiv:2006.08753.
  156. ↑ Liu, Anqi; Reyzin, Lev; Ziebart, Brian (21 лютого 2015). Shift-Pessimistic Active Learning Using Robust Bias-Aware Prediction. Proceedings of the AAAI Conference on Artificial Intelligence (англ.). 29 (1). doi:10.1609/aaai.v29i1.9609. ISSN 2374-3468.
  157. ↑ Liu, Jiashuo; Shen, Zheyan; Cui, Peng; Zhou, Linjun; Kuang, Kun; Li, Bo; Lin, Yishi (18 травня 2021). Stable Adversarial Learning under Distributional Shifts. Proceedings of the AAAI Conference on Artificial Intelligence (англ.). 35 (10): 8662—8670. arXiv:2006.04414. doi:10.1609/aaai.v35i10.17050. ISSN 2374-3468.
  158. ↑ Roy, Aurko; Xu, Huan; Pokutta, Sebastian (2017). Reinforcement Learning under Model Mismatch. Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 30.
  159. ↑ Pinto, Lerrel; Davidson, James; Sukthankar, Rahul; Gupta, Abhinav (17 липня 2017). Robust Adversarial Reinforcement Learning. Proceedings of the 34th International Conference on Machine Learning (англ.). PMLR: 2817—2826.
  160. ↑ Wang, Yue; Zou, Shaofeng (2021). Online Robust Reinforcement Learning with Model Uncertainty. Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 34: 7193—7206. arXiv:2109.14523.
  161. ↑ Blanchet, Jose; Lu, Miao; Zhang, Tong; Zhong, Han (15 грудня 2023). Double Pessimism is Provably Efficient for Distributionally Robust Offline Reinforcement Learning: Generic Algorithm and Robust Partial Coverage. Advances in Neural Information Processing Systems (англ.). 36: 66845—66859. arXiv:2305.09659.
  162. ↑ Levine, Sergey; Kumar, Aviral; Tucker, George; Fu, Justin (1 листопада 2020). Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems (англ.). arXiv:2005.01643 [cs.LG].
  163. ↑ Rigter, Marc; Lacerda, Bruno; Hawes, Nick (6 грудня 2022). RAMBO-RL: Robust Adversarial Model-Based Offline Reinforcement Learning. Advances in Neural Information Processing Systems (англ.). 35: 16082—16097. arXiv:2204.12581.
  164. ↑ Guo, Kaiyang; Yunfeng, Shao; Geng, Yanhui (6 грудня 2022). Model-Based Offline Reinforcement Learning with Pessimism-Modulated Dynamics Belief. Advances in Neural Information Processing Systems (англ.). 35: 449—461. arXiv:2210.06692.
  165. ↑ Coste, Thomas; Anwar, Usman; Kirk, Robert; Krueger, David (16 січня 2024). Reward Model Ensembles Help Mitigate Overoptimization. International Conference on Learning Representations (англ.). arXiv:2310.02743.
  166. ↑ Liu, Zhihan; Lu, Miao; Zhang, Shenao; Liu, Boyi; Guo, Hongyi; Yang, Yingxiang; Blanchet, Jose; Wang, Zhaoran (26 травня 2024). Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer. NeurIPS (англ.). 37: 138663—138697. ISBN 979-8-3313-1438-5.
  167. ↑ Cohen, Michael K.; Hutter, Marcus; Nanda, Neel (2022). Fully General Online Imitation Learning. Journal of Machine Learning Research (англ.). 23 (334): 1—30. arXiv:2102.08686. ISSN 1533-7928.
  168. ↑ Chang, Jonathan; Uehara, Masatoshi; Sreenivas, Dhruv; Kidambi, Rahul; Sun, Wen (2021). Mitigating Covariate Shift in Imitation Learning via Offline Data With Partial Coverage. Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 34: 965—979.
  169. ↑ Boyd, Stephen P.; Vandenberghe, Lieven (2023). Convex optimization (англ.) (вид. Version 29). Cambridge New York Melbourne New Delhi Singapore: Cambridge University Press. ISBN 978-0-521-83378-3.
  170. ↑ UN Secretary-General's report on "Our Common Agenda" (англ.). 2021. с. 63. Архів оригіналу за 16 лютого 2023. [T]he Compact could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values
  171. ↑ The National New Generation Artificial Intelligence Governance Specialist Committee (12 жовтня 2021) [2021-09-25]. Ethical Norms for New Generation Artificial Intelligence Released (англ.). Переклад: Центр безпеки та перспективних технологій. Архів оригіналу за 10 лютого 2023.
  172. ↑ Richardson, Tim (22 вересня 2021). UK publishes National Artificial Intelligence Strategy. The Register (брит.). Архів оригіналу за 10 лютого 2023. Процитовано 14 листопада 2021.
  173. ↑ The National AI Strategy of the UK (брит.). 2021. Архів оригіналу за 10 лютого 2023. The government takes the long term risk of non-aligned Artificial General Intelligence, and the unforeseeable changes that it would mean for the UK and the world, seriously.
  174. ↑ The National AI Strategy of the UK (брит.). 2021. actions 9 and 10 of the section "Pillar 3 – Governing AI Effectively". Архів оригіналу за 10 лютого 2023.
  175. ↑ NSCAI Final Report (PDF) (амер.). Washington, DC: The National Security Commission on Artificial Intelligence. 2021. Архів (PDF) оригіналу за 15 лютого 2023. Процитовано 17 жовтня 2022.
  176. ↑ Robert Lee Poe (2023). Why Fair Automated Hiring Systems Breach EU Non-Discrimination Law. Machine Learning and Principles and Practice of Knowledge Discovery in Databases (англ.). arXiv:2311.03900.
  177. ↑ De Vos, Marc (2020). The European Court of Justice and the march towards substantive equality in European Union anti-discrimination law. International Journal of Discrimination and the Law (англ.). 20: 62—87. doi:10.1177/1358229120927947.

Література

[ред. | ред. код]
Отримано з https://uk.wikipedia.org/w/index.php?title=Узгодження_штучного_інтелекту&oldid=49051465