Anthropic втратила контракт з Пентагоном на $200 млн, бо не погодилася зняти два обмеження на використання Claude. Для компанії, яка позиціонує себе як розробника «етичного ШІ», кращої ілюстрації важко придумати. Але якщо придивитися до інших її рішень, межа між принципами і компромісами стає набагато розмитішою.
Anthropic записала правила поведінки Claude в окрему «конституцію», створила незалежний траст, який має захищати місію компанії від тиску інвесторів, і обмежила деякі сфери використання своїх моделей. При цьому вона співпрацює з військовими, залучає мільярдні інвестиції і змагається за лідерство з OpenAI та Google. У цьому тексті HBJ розглядає, як етичні принципи Anthropic працюють на практиці і що стається, коли вони починають заважати бізнесу.
Як Anthropic вбудувала етику в структуру компанії
Історія Anthropic починається з рішення, яке більшість інженерів упізнає з власної кар'єри: піти з команди, бо не згоден з тим, як вона будує продукт. У 2021 році Даріо Амодеї, тоді віцепрезидент з досліджень OpenAI, разом із сестрою Данієлою й кількома колегами пішов засновувати власну компанію. Офіційно сторони ніколи детально не описували причини розриву, але сам Амодеї послідовно пояснює: його непокоїло, чи достатньо уваги команда приділяє ризикам, пов’язаним зі створенням дедалі потужніших моделей.
Цікаво, що команда майбутнього флагману ШІ перегонів закріпила свої позиції навіть юридично. Anthropic зареєстровано як Delaware Public Benefit Corporation, а її суспільна мета, записана в статуті, — відповідальна розробка і підтримка просунутого ШІ на довгострокову користь людства. На практиці це дає раді директорів юридичне право ухвалювати рішення не лише в інтересах акціонерів.
Другий шар — Long-Term Benefit Trust. Це незалежний орган із довірених осіб, які не є інвесторами і з часом обирають більшість ради директорів. Інакше кажучи, це спроба вбудувати незалежного рецензента з правом вето у сам процес ухвалення рішень, щоб місію не можна було тихо «відрефакторити» під тиском квартальних цифр.
Чи працює це?
Аргумент «за»: жодна інша фронтирна лабораторія не має такого механізму, а сама компанія чесно називає його експериментом.
Аргумент «проти»: довірені особи все одно залежать від інформації, яку їм дає менеджмент, а склад трасту не завжди повністю публічний.
Перевірка цієї конструкції ще попереду. Найімовірніше, вона відбудеться під час і після IPO, коли тиск акціонерів стане найсильнішим.
А що, як ШІ зробить світ кращим?
У жовтні 2024 року Амодеї опублікував есе «Machines of Loving Grace», у якому зосередився не на ризиках, а на можливостях ШІ. За його сценарієм, технологія може за кілька років прискорити біомедичні дослідження на десятиліття, допомогти в боротьбі з більшістю інфекційних хвороб, сприяти економічному розвитку бідніших країн і зміцненню демократичних інституцій.
Окрему увагу він приділяє політичному виміру. Амодеї застерігає, що потужний ШІ може посилити авторитарні режими, і тому вважає важливим, щоб демократичні країни впливали на умови його розвитку та використання.
Водночас така позиція залишає кілька відкритих питань. Зокрема, хто визначатиме, що саме є суспільним благом і які ризики заради нього прийнятні. Крім того, очікування великої майбутньої користі саме по собі може стати аргументом за прискорення розробки — навіть тоді, коли наслідки технології ще недостатньо вивчені.
Як пережити «технологічну юність» і не знищити себе
Якщо «Machines of Loving Grace» описує потенційну користь потужного ШІ, то в есе «The Adolescence of Technology», опублікованому у січні 2026 року, Амодеї зосереджується на ризиках. Текст починається зі сцени з фільму «Контакт» за романом Карла Сагана: людство запитує розвинену інопланетну цивілізацію, як їй вдалося пережити період стрімкого технологічного розвитку й не знищити себе.
Амодеї виділяє кілька основних загроз: автономну поведінку моделей, яка не відповідає намірам людей, використання ШІ зі злочинною метою, зокрема в біології, а також концентрацію влади. В останньому випадку джерелом ризику можуть бути не лише окремі зловмисники, а й держави, великі корпорації та самі розробники ШІ.
Окрема тема — регулювання. У січневому есе Амодеї застерігав від правил, які можуть швидко застаріти або мати небажані наслідки. Уже в червні він підтримав пропозицію адміністрації Трампа добровільно надавати нові моделі для державної перевірки та порівняв такий підхід із сертифікацією літаків перед виходом на ринок.
Цю зміну можна трактувати по-різному: як перегляд позиції у відповідь на розвиток технології та появу нових ризиків або як адаптацію до обставин, у яких працює сама Anthropic. У будь-якому разі вона показує одну з головних складностей дискусії про AI safety: правила доводиться формувати для технології, можливості та ризики якої змінюються швидше, ніж традиційні механізми регулювання.
Що записано в конституції Claude
Есе Амодеї описують принципи Anthropic на рівні ідей. Але є документ, який безпосередньо впливає на «поведінку» продукту — це конституція Claude. У ній Anthropic визначає принципи, якими модель має керуватися у відповідях і взаємодії з користувачами.
Це відрізняється від підходу, за якого поведінку моделі формують переважно через людський зворотний зв’язок: люди оцінюють відповіді, а система вчиться віддавати перевагу тим, які отримують кращі оцінки. У випадку з конституцією частину принципів формулюють прямо. Їх можна прочитати, обговорити, критикувати та змінювати.
Серед них — чесність і визнання невпевненості, відмова від маніпуляцій, повага до самостійності користувача та обережність у політичних питаннях. При цьому документ не просто перелічує правила, а пояснює їхню логіку. Це має допомогти моделі застосовувати загальні принципи й у ситуаціях, які неможливо передбачити заздалегідь.
Водночас конституція порушує ширше питання: хто має визначати принципи, за якими поводяться моделі, якими користуються мільйони людей? Anthropic зробила свої правила публічними, тож їх принаймні можна аналізувати й критикувати. Але рішення про їхній зміст усе одно залишається за компанією. Як і хто має встановлювати такі принципи в майбутньому — питання, на яке поки немає загальноприйнятої відповіді.
Протистояння з Пентагоном
У лютому 2026 року принципи Anthropic пройшли перевірку своїх цінностей на практиці. На той момент компанія мала дворічну угоду з Міністерством війни США зі стелею у $200 млн, а Claude використовували для аналізу розвідданих, моделювання, планування операцій і кібероперацій.
Міністерство вимагало дозволити «будь-яке законне використання» Claude. Anthropic була готова погодитися за двома винятками: масове стеження за американцями та повністю автономна зброя.
26 лютого Даріо Амодеї опублікував заяву, у якій пояснив позицію компанії. Відмову від масового стеження Anthropic обґрунтувала ризиками для громадянських свобод, а обмеження автономної зброї — недостатньою надійністю сучасних моделей. Компанія також пропонувала міністерству спільно працювати над підвищенням надійності таких систем, однак, за словами Амодеї, цю пропозицію не прийняли.
Водночас Anthropic не заперечувала право військових самостійно ухвалювати операційні рішення. Компанія заявила, що готова продовжувати співпрацю майже в усіх інших сферах, а в разі припинення контракту — допомогти перейти на іншого постачальника без перебоїв у роботі.
Конфлікт швидко вийшов за межі переговорів. Міністр війни Піт Гегсет наказав надати Anthropic статус ризику для ланцюга постачань, а 4 березня компанія отримала офіційне повідомлення про це рішення та заявила, що оскаржуватиме його в суді.
У центрі суперечки опинилося питання про межі відповідальності розробника. Позиція Anthropic полягає в тому, що навіть законне застосування технології може бути неприйнятним, якщо система недостатньо надійна або створює серйозні ризики для громадянських свобод. Сам конфлікт показує, що принципи AI safety можуть впливати не лише на поведінку моделі, а й на те, кому і для яких завдань компанія готова надавати свою технологію.
Коли принципи стають незручними
Водночас не всі рішення Anthropic так само легко узгодити з принципами, які декларує компанія. Є щонайменше три показові випадки.
Війна з Іраном
Поки тривав конфлікт із Пентагоном, Claude уже працював у системі Palantir Maven, яку американські військові використовували для визначення цілей під час ударів по Ірану з 28 лютого. Пізніше Амодеї заявляв, що Anthropic не знає, яку саме роль Claude відіграв під час удару по школі в Мінабі.
Формально встановлених компанією обмежень це не порушувало: вони стосувалися масового стеження за американцями та повністю автономної зброї. Водночас цей випадок показав іншу проблему: коли модель інтегрована в систему партнера, її розробник може мати обмежену інформацію про конкретні способи використання технології.
Інвестиції з країн Перської затоки
У липні 2025 року WIRED оприлюднив внутрішнє повідомлення Амодеї про можливе залучення інвестицій з ОАЕ та Катару. Він визнав суперечність такого рішення з попередніми принципами компанії, але пояснив його конкуренцією за капітал, необхідний для розробки передових моделей. За його словами, принцип, за яким жодна «погана людина» не повинна отримати вигоду від успіху Anthropic, складно застосовувати як практичне правило для бізнесу.
Це створює помітну напругу з тезою Амодеї з «Machines of Loving Grace» про роль демократичних країн у розвитку потужного ШІ. Водночас Anthropic намагалася провести межу між залученням капіталу та впливом інвесторів на управління компанією.
«Піратські» книжки
Ще одна суперечка стосувалася даних для навчання моделей. У справі за позовом американських авторів суддя Вільям Алсап визнав навчання ШІ на захищених авторським правом книжках добросовісним використанням. Водночас окремим порушенням стало те, як Anthropic отримала частину цих даних: компанія завантажила мільйони книжок із піратських онлайн-бібліотек.
Зрештою Anthropic погодилася виплатити $1,5 млрд за врегулювання претензій, пов’язаних із піратськими копіями. Угода охопила близько 465 000 книжок — у середньому приблизно $3 000 за кожну.
Anthropic створює ШІ і попереджає, що він забере роботу
У травні 2025 року Амодеї прогнозував, що впродовж одного-п’яти років ШІ може скоротити до половини початкових офісних посад і підняти безробіття у США до 10–20%. Серед найбільш вразливих сфер він назвав технології, фінанси, право та консалтинг, особливо роботу для молодих спеціалістів.
На думку Амодеї, компаніям і державі варто відкрито говорити про цей ризик і заздалегідь готуватися до можливих наслідків. Він описував сценарій, за якого ШІ різко прискорює економічне зростання та розвиток медицини, але водночас залишає значну частину людей без роботи. Серед можливих способів перерозподілити отриману вигоду Амодеї згадував податок на доходи AI-компаній.
Окрема проблема стосується початкових позицій. Якщо частину роботи джуніорів переберуть на себе AI-системи, компаніям доведеться змінювати підхід до підготовки фахівців. Адже такі позиції виконують не лише виробничу функцію, а й дають спеціалістам досвід, необхідний для переходу на вищі рівні.
Сама Anthropic намагається досліджувати ці зміни через Economic Index, аналізуючи, як Claude використовують у різних професіях і для яких завдань. Зокрема, компанія розрізняє автоматизацію, коли ШІ виконує роботу замість людини, і доповнення, коли технологія допомагає людині виконувати її роботу.
Водночас у позиції Anthropic є очевидна суперечність: компанія попереджає про можливе витіснення працівників і паралельно розробляє технологію, здатну прискорити цей процес. Позиція Амодеї полягає в тому, що зупинити розвиток ШІ практично неможливо, тому завдання полягає в тому, щоб завчасно досліджувати його наслідки та шукати способи ними керувати.
А що, якщо Claude теж треба захищати
У квітні 2025 року Anthropic запустила дослідницьку програму з добробуту моделей (model welfare). Її мета — з’ясувати, чи можуть сучасні або майбутні AI-системи мати свідомість, власні вподобання чи досвід, який варто враховувати з етичного погляду. Anthropic залишається вкрай невпевненою щодо можливого морального статусу Claude та інших LLM, але вважає це питання вартим дослідження.
У серпні Claude Opus 4 і 4.1 отримали можливість завершувати окремі розмови, якщо користувач після неодноразових відмов продовжує вимагати шкідливий контент або взаємодія стає тривалою й образливою. Під час тестування моделі в таких ситуаціях намагалися припинити взаємодію та демонстрували патерни, які дослідники інтерпретували як можливі ознаки «дистресу». Водночас Anthropic не стверджує, що Claude справді щось відчуває. Функція також не має спрацьовувати, якщо користувачеві може загрожувати небезпека.
Водночас сама ідея model welfare залишається дискусійною. Поведінка LLM може бути лише наслідком навчання на людських текстах, а розмови про «добробут» моделей — сприяти їх антропоморфізації. Постає й питання пріоритетів: скільки уваги варто приділяти гіпотетичному досвіду моделей, коли ШІ вже має цілком реальний вплив на людей.
Як сповільнити AI-перегони, у яких береш участь
12 вересня 2026 року Амодеї опублікував есе «We Must Pace the Frontier», у якому закликав сповільнити темп розвитку найпотужніших AI-моделей. Йдеться не про зупинку розробки, а про те, щоб між появою нових можливостей і їхнім масштабним впровадженням залишалося достатньо часу на перевірку безпеки. На думку Амодеї, навіть додаткові рік-два можуть дати дослідникам більше часу на alignment і зменшити ризики, пов’язані з появою небезпечних можливостей.
Він пропонує три основні кроки:
незалежні перевірки фронтирних лабораторій;
спільні стандарти безпеки для AI-компаній;
державне й міжнародне регулювання.
Важлива частина цієї пропозиції — зовнішній контроль. Амодеї визнає, що компанії не повинні самостійно визначати, чи достатньо безпечні їхні моделі, адже вони зацікавлені в тому, щоб випускати продукти швидше за конкурентів.
Заклик підтримали Сем Альтман, Ілон Маск і Деміс Хассабіс. Білому дому ідея сповільнення не сподобалася, а одним із головних заперечень став ризик втратити технологічну перевагу над Китаєм. У відповідь Амодеї пропонує, зокрема, посилювати експортні обмеження на передові чипи.
Цей заклик добре ілюструє суперечність, яка проходить через усю історію Anthropic: компанія говорить про необхідність обмежувати темпи розвитку ШІ, але сама працює в умовах жорсткої конкуренції. Менш ніж за три тижні після есе вона випустила Opus 5.5 і Sonnet 5.5, а паралельно почала готуватися до IPO. У логіці Амодеї суперечності тут немає: він пропонує не одностороннє сповільнення Anthropic, а спільні правила для всіх провідних AI-компаній. Інакше лабораторія, яка вирішить рухатися повільніше за інших, просто поступиться конкурентам.
FAQ
Які етичні принципи декларує Anthropic?
Anthropic декларує пріоритет безпеки і користі для людства, що закріплено в її статусі Public Benefit Corporation. Конституція Claude додає принципи чесності, відмови від маніпуляцій, поваги до автономії користувача та політичної неупередженості. Компанія також має червоні лінії: відмову допомагати в масовому стеженні та повністю автономній зброї.
Що Даріо Амодеї говорить про етику штучного інтелекту?
Амодеї розглядає ШІ як технологію з величезним потенціалом блага і водночас серйозними ризиками. В есе «Machines of Loving Grace» він описує можливі переваги, в «The Adolescence of Technology» — загрози, а в «We Must Pace the Frontier» закликає індустрію сповільнитися і допустити незалежних аудиторів.
Чому Anthropic відмовилася виконати вимоги Пентагону?
Пентагон вимагав дозволити використання Claude для будь-яких законних цілей. Anthropic відмовилась зняти два обмеження: масове стеження за громадянами США і повністю автономну зброю. Амодеї назвав масове стеження несумісним з демократичними цінностями, а автономну зброю — поки недостатньо надійною без людського нагляду.
Чи дотримується Anthropic власних етичних принципів?
Частково. Компанія відмовилась від контракту з Пентагоном заради своїх червоних ліній, але водночас шукала інвестиції в країнах Перської затоки, заплатила $1,5 млрд за використання піратських книжок і не змогла пояснити роль Claude в окремих військових ударах. Її етика — радше постійний компроміс, ніж бездоганний приклад.
Що таке Long-Term Benefit Trust в Anthropic?
Long-Term Benefit Trust — незалежний орган Anthropic, члени якого не є інвесторами компанії. З часом траст отримує право обирати більшість ради директорів. Його мета — захистити місію безпечного і корисного ШІ від тиску короткострокових фінансових інтересів акціонерів.
