脱ブラックボックス化！ AI開発における異常自動検知システム「Citadel Lens」

株式会社Citadel AI（以下、Citadel AI社）は、企業のAI開発におけるPoC（Proof of Concept：概念実証）を加速するAI自動耐性テストツール「Citadel Lens（シタデル・レンズ）」のβ版を、3月1日（火）にリリースしました。

開発中のAIの弱点を瞬時に炙り出す「人間ドック」のような機能で、利用者が安心して運用ステージに移行できる環境を提供するといいます。

人手作業では難しい、バイアスや精度のばらつきを精査

Citadel AI社は、米国Google Brain Teamの元AIインフラ構築責任者が開発をリードしている企業です。「24時間信頼できるAIをあなたに」をビジョンに掲げ、AIの品質保守の自動化ツールを提供しています。

今回、同社がリリースしたCitadel Lensは、開発～PoCステージのAIの自動耐性テストをおこない、人手作業では検出が難しいバイアスや精度のばらつき、アタック耐性などを精査するシステムです。

AIの弱点や異常を瞬時に炙り出し「点数化」。課題の原因を早期に解明し、PoCを加速するといいます。

背景には人的・時間的コストの課題

今回のリリースの背景には、AIのデバッグにかかる人的・時間的コストの課題があったようです。

AIは学習データからロジックを自動学習し、膨大な数のパラメーターに落とし込みます。

しかし、パラメーターは学習するたびに変わることから、「バージョンアップ後のシステムの精度が劣化したが、理由がわからない」と悩むエンジニアが少なくないといいます。

一方、これまでの精度確認方法では、精度がわかるまで1週間〜1か月程度の時間がかかるケースが多く、AIの不具合の原因解明・改善には、専門のエンジニアでも多くの作業時間を要します。

こうした課題を受けて、Citadel AI社はCitadel Lensを開発。AIの精度確認でおこなっていたAI出力の目視確認とラベル付け作業が不要となるため、AIエンジニアの作業を効率化することができます。

「Citadel Radar」併用で、より信頼性のある仕組みへ

同社はCitadel Lens以外に、「Citadel Radar（シタデル・レーダー）」というシステムを提供しています。昨年リリースされた同システムは、運用ステージのAIの入出力をもとに、リアルタイムでAIの異常を自動検知・防御・可視化します。

「もし～だったら〇〇だっただろう」という反実仮想分析によるシミュレーション機能を搭載。運用中のAIを守るツールとしても、マーケティングツールとしても利用できるといいます。

開発中のAIに対する「人間ドック」の機能をもつCitadel Lens、そして運用中のAIを常時モニタリングし異常から守る「ボディガード」の機能をもつCitadel Radar。

同社は両システムを併用することで「『信頼できる、説明可能なAI』の仕組みを構築することができます」と語り、今後も利用者が安心して運用ステージに移行できる環境を提供していく方針です。

PR TIMES（1）（2）

（文・Haruka Isobe）