Джеффри Хинтон призвал защитить независимых оценщиков ИИ
Компьютерный учёный Джеффри Хинтон, которого часто называют одним из «крёстных отцов» современного искусственного интеллекта, присоединился к открытом письму с требованиями обеспечить независимость и защиту специалистов, оценивающих риски AI-систем.
Письмо опубликовал Форум организаций по оценке ИИ, объединяющий несколько групп, занимающихся независимым контролем и анализом технологий искусственного интеллекта. Документ устанавливает минимальные условия, которые, по мнению его авторов, должны соблюдать AI-лаборатории при сотрудничестве с внешними оценщиками.
Под обращением подписались десятки специалистов в области искусственного интеллекта, включая Джеффри Хинтона и компьютерного учёного Стюарта Рассела.
Независимые оценщики должны работать без вмешательства компаний
Авторы письма считают, что для достоверной оценки рисков специалисты, работающие непосредственно внутри AI-компаний, должны сохранять научную объективность, прозрачность и независимость.
В документе отдельно подчёркивается необходимость защиты оценщиков от вмешательства со стороны компаний, деятельность которых они проверяют.
Речь идёт о таких AI-лабораториях, как Anthropic и OpenAI. Ранее руководители этих компаний заявили о готовности предоставить внешним специалистам доступ к внутренним ресурсам для проведения оценки потенциальных рисков ИИ.
Оценщики хотят прямого доступа к руководству
Согласно опубликованным требованиям, независимые специалисты должны иметь возможность проводить исследования открыто и прозрачно, а также напрямую обращаться к совету директоров компании и другим органам, ответственным за специальный надзор.
При этом компании не должны фильтровать или ограничивать такую коммуникацию.
Ещё одно требование касается публикации результатов. Независимые оценщики, согласно документу, должны иметь возможность самостоятельно обнародовать итоги своей работы.
Авторы считают, что это необходимо для того, чтобы результаты проверки не зависели исключительно от позиции самой AI-компании.
Специалистов предлагают защитить от возможных репрессий
Отдельное внимание в открытом письме уделяется защите сотрудников, проводящих оценку.
Авторы предлагают гарантировать специалистам защиту от возможных ответных действий со стороны AI-лабораторий из-за результатов их работы. Кроме того, независимые оценщики, по мнению форума, должны иметь доступ к тем же системам, данным, инструментам и физическим объектам, что и внутренние специалисты компаний.
Это должно позволить внешним экспертам проводить полноценные исследования, не сталкиваясь с ограничениями, которых нет у сотрудников самой организации.
В оценке ИИ предлагают учитывать разные виды рисков
Форум также выступает за то, чтобы AI-компании привлекали специалистов с разным профессиональным опытом и взглядами.
В частности, предлагается формировать группы оценщиков, способных исследовать различные категории потенциальных угроз — от рисков в биологических науках до сценариев возможной потери контроля над AI-системами.
Таким образом, сторонние проверки должны охватывать не одну конкретную категорию рисков, а широкий спектр возможных последствий развития и применения искусственного интеллекта.
OpenAI и Anthropic уже обсуждают внешний контроль
Публикация письма появилась на фоне активизации дискуссии о независимой проверке наиболее мощных AI-систем.
Ранее генеральные директоры Anthropic Дарио Амодеи и OpenAI Сэм Альтман заявили о готовности предоставить сторонним специалистам доступ к ресурсам компаний для оценки рисков.
К обсуждению подключились и другие представители технологической отрасли. Генеральный директор Microsoft Сатья Наделла заявил, что компания поддерживает идею присутствия независимых оценщиков непосредственно внутри AI-компаний.
Открытое письмо при этом предлагает конкретизировать условия такой работы: независимость специалистов, доступ к необходимой информации и инфраструктуре, возможность напрямую обращаться к органам надзора и защита от вмешательства или ответных действий со стороны оцениваемой компании.