NIST AI RMF - рамка управління ризиками систем ШІ

Що це таке

AI Risk Management Framework, опублікований US National Institute of Standards and Technology як NIST AI 100-1 у січні 2023 року, дає організаціям структуру для виявлення й управління ризиками, які створюють їхні системи ШІ. Його створено за дорученням National Artificial Intelligence Initiative Act of 2020, і NIST описує його власними словами: він «має бути добровільним, таким, що зберігає права, позасекторним і незалежним від use case, надаючи гнучкість організаціям будь-якого розміру та в усіх секторах». Немає сертифікації, акредитованого органу й правової вимоги, прикріпленої до нього в самому документі. Замість цього він пропонує спільну лексику й повторюваний процес для питання, на яке кожна організація, що будує або купує ШІ, зрештою має відповісти сама: що може піти не так, як ми дізнаємося і що з цим робити.

Чотири функції: Govern, Map, Measure, Manage

Суть Рамки - у чотирьох функціях, кожна розбита на категорії й підкатегорії результатів, а не pass/fail контролів. NIST прямо зазначає, що вони «не є чеклістом і не обов'язково впорядкованим набором кроків».

Govern - наскрізна і проходить крізь інші три. Вона охоплює документування правових і регуляторних вимог, що стосуються використання ШІ організацією, встановлення й документування толерантності до ризику, ведення інвентаризації систем ШІ, безпечне виведення з експлуатації після завершення використання, визначення ролей і навчання персоналу, залучення демографічного й дисциплінарного різноманіття до рішень щодо ризику та управління ризиком від стороннього ПЗ, даних і ширшого ланцюга постачання.

Map встановлює контекст до будь-якого тестування: призначення системи, хто її використовуватиме і чого очікує, толерантність організації до ризику й власні вимоги системи. Також просить категоризувати, що система фактично робить (класифікатор, generative model, recommender), документувати відомі обмеження й визначити ймовірний вплив на людей і спільноти, яких торкається система, спираючись на минулі інциденти й зворотний зв'язок поза командою, що її створила.

Measure - де характеристики надійності нижче перевіряються на доказах: задокументовані тестові набори й методи, оцінка продуктивності й безпеки в умовах, близьких до реального розгортання, постійний моніторинг у production, оцінка безпеки, прозорості, explainability, ризику приватності, справедливості й навіть екологічної вартості навчання й роботи моделі. Де ризик справді не можна виміряти наявним методом, Рамка просить це задокументувати, а не приховати, і рекомендує участь внутрішніх експертів, які не були розробниками системи, або незалежних оцінювачів.

Manage перетворює перші три функції на дії: пріоритизація виявлених ризиків за впливом і ймовірністю, рішення щодо пом'якшення, передачі, уникнення або прийняття кожного, документування негативного залишкового ризику, що доходить «до downstream acquirers систем ШІ та кінцевих користувачів». Також охоплює постійний моніторинг сторонніх компонентів і pre-trained моделей у розробці та post-deployment плани моніторингу, апеляції й override, decommissioning і реагування на інциденти.

Сім характеристик надійного ШІ

Частина 1 документа описує, що означає «надійний» на практиці, як характеристики, проти яких перевіряє функція Measure: valid and reliable, safe, secure and resilient, accountable and transparent, explainable and interpretable, privacy-enhanced, fair з керованим шкідливим bias. Документ бере визначення ризику з ISO 31000: «risk management refers to coordinated activities to direct and control an organization with regard to risk». NIST обережно каже, що ці характеристики компромісують одна одною, а не максимізуються всі одразу - система, налаштована на interpretability, може втратити частину predictive accuracy, наприклад - і що баланс - судження, специфічне для фактичного використання системи, а не те, що Рамка вирішує за читача.

Для кого написано і як поширюється

Рамка звертається до «AI actors» - термін запозичено з OECD: усі, хто активно беруть участь у життєвому циклі системи ШІ, включно з тими, хто проєктує, розробляє, впроваджує, експлуатує, тестує, закуповує або керує нею, плюс треті сторони, що постачають дані чи моделі, і downstream acquirers та кінцеві користувачі. Жодна роль не виділена як єдина аудиторія; документ зазначає, що «усі залучені AI actors розділяють відповідальність за проєктування, розробку та впровадження надійної системи ШІ, придатної для мети».

Нічого в AI RMF не робить його обов'язковим. Він діє лише там, де організація обирає його прийняти, або де клієнт, внутрішня політика чи окремий регуляторний режим просить його за назвою. NIST каже, що прагне бути «корисним для широкого спектру перспектив, секторів і технологічних доменів» і «універсально застосовним до будь-якої технології ШІ», окремо - «law- and regulation-agnostic», щоб він існував поруч із правилами, що вже застосовуються до організації, а не замінював їх. Документ від федерального агентства США, але нічого не обмежує використання США чи одним сектором.

На що дивиться оцінювач

Немає сертифікації, notified body чи схеми стороннього аудиту в AI RMF. Замість цього документ описує самооцінку: він заохочує організації «періодично оцінювати, чи покращив AI RMF їхню здатність керувати ризиками ШІ», дивлячись на власні політики, процеси, плани впровадження й результати. NIST прямо в атрибутах Рамки: мета - «надати каталог результатів і підходів, а не прописувати універсальні вимоги». Де організація має показати роботу, це - клієнту, регулятору з окремим правовим режимом або власному керівництву, використовуючи документацію від чотирьох функцій: політики, інвентаризацію систем, реєстри ризиків, записи тестів і оцінки, заяви про залишковий ризик.

Що навмисно залишено відкритим

Дві прогалини варто знати, перш ніж трактувати це як повний rulebook. Рамка «може використовуватися для пріоритизації ризику», але сама не встановлює толерантність до ризику - це залишається організаційним, іноді секторним рішенням. Розділ 6 описує «AI RMF Profiles» - адаптовані застосування Core для конкретного use case чи сектора; NIST прямо: «this Framework does not prescribe profile templates, allowing for flexibility in implementation», тож організація будує власний.

Додаток B - корисний чекліст: перелік способів, яким ризик ШІ відрізняється від звичайного програмного, включно з даними, що drift після навчання моделі, opacity великих pre-trained моделей, важчими передбачити failure modes, більшою обчислювальною й екологічною вартістю та стандартами тестування, які описані як «underdeveloped» для AI-based practices порівняно з traditionally engineered software.

Стандарти, на які він посилається

• ISO 31000Довідково

Інші стандарти в темі «Стандарти та методи управління ризиками»

• ISO 31000Управління ризиками за ISO 31000
• NIST SP 800-30NIST SP 800-30 оцінювання ризиків інформаційної безпеки
• NIST SP 800-37NIST SP 800-37 рамка управління ризиками для інформаційних систем