Anthropic опублікувала дослідження, у якому описала внутрішній механізм роботи мовної моделі Claude під назвою J-Space.
Дослідники порівнюють його з концепцією глобального робочого простору в когнітивній науці, але наголошують, що результати не доводять наявність у моделі свідомості.
Дослідники описали внутрішній «робочий простір» Claude
J-Space — це підмножина внутрішніх представлень моделі, у якій з'являються поняття, що Claude може використати під час міркувань або пояснити у відповіді користувачу.
Для аналізу дослідники застосували новий інструмент Jacobian Lens (J-Lens), який дає змогу спостерігати за внутрішніми представленнями моделі без зміни її роботи. Саме від назви цього інструмента походить термін J-Space.
J-Space бере участь у багатокрокових міркуваннях, внутрішніх обчисленнях і формуванні відповідей, хоча не використовується для більшості повсякденних операцій моделі.
Порівняння J-Space із людською свідомістю
Дослідники порівнюють J-Space з теорією глобального робочого простору — однією з провідних концепцій когнітивної науки, яка пояснює, як окремі процеси мозку об'єднуються в усвідомлене мислення.
«Наші експерименти не показують, що Claude може мати переживання або відчувати щось так, як це роблять люди. Ба більше, наразі незрозуміло, чи може будь-який науковий експеримент підтвердити або спростувати це», — зазначають автори дослідження.
Дослідження поведінки ШІ-моделей
J-Space може стати новим інструментом для вивчення внутрішньої роботи великих мовних моделей.
За допомогою цього механізму дослідники змогли спостерігати, як Claude знаходить помилки в програмному коді, виконує проміжні кроки під час розв'язання математичних задач або розпізнає спроби прихованого впливу на модель.
Це може допомогти краще розуміти процеси міркування моделей і вдосконалювати їхню безпеку та керованість.
