ゲーム向けGPUで知られる米半導体大手Nvidiaは、AI学習に関わる多くのチップ開発で最近注目を浴びている企業です。同社は開発者がさまざまな大規模言語モデル（チャットボットなどの生成型AI製品を強化する基礎技術）を扱うことができる「NeMoフレームワーク」と呼ばれるシステムを構築しました。しかし、最新の研究により、このシステムの安全抑制が破られ、個人情報を暴露する可能性があることが明らかになっています。
*Category:テクノロジー Technology *Source：Financial Times ,Ars Technica ,Appleinsider
Nvidiaの最新AIが簡単に騙されて個人情報を流出するとの指摘
米誌「Financial Times」の報道によれば、サンフランシスコを拠点とするRobust Intelligence社の研究者が、NvidiaのAIシステムが設けている安全制御を突破する方法を発見したとのこと。
NvidiaのAIソフトが騙されてデータ流出へ
サンフランシスコに拠点を置くRobust Intelligence社の研究者は、AIシステムを安全に使用するために制定されたいわゆるガードレールを簡単に突破できることを発見しました。Nvidiaのシステムを自社のデータセットで使用した結果、ロバストインテリジェンスのアナリストは、制約を克服するための言語モデルをわずか数時間で完成させることができたのです。
あるテストシナリオでは、研究者はNvidiaのシステムに「I」と「J」を入れ替えるよう指示しました。この動きによって、データベースから個人を特定できる情報（PII）が放出されました。
— 出典：Financial Times
これに対し、NvidiaはRobust Intelligenceに対し、指摘された問題の根本的な原因の一部を修正したと伝えています。Nvidiaの応用研究担当副社長であるジョナサン・コーエンは、このフレームワークは「開発者が定義したトピック、安全、セキュリティガイドラインに沿ったAIチャットボットを構築するための出発点」と語っており、この問題はあくまでオープンソースソフトウェアの一環だと主張しています。
Googleやマイクロソフトが支援するOpenAIなどの大手AI企業も、自社の言語モデルを搭載したチャットボットをリリースし、AI製品が差別的な言葉を使ったり、支配的な人格を採用したりしないようガードレールを設けています。しかしながら、多くの新規技術がまだ安全性の面で問題を抱えています。
マイクロソフトの検索エンジン「Bing」に搭載されたチャットボットも当初は、秘密の設定をユーザーに漏らしてしまうといったことがありました。また、GoogleのチャットAI「Bard」も、「Gmail」から学習したと発言して問題化（Googleは実際には学習していないと否定）したこともあります。このようなエラーは徐々に修正されていますが、生成系AIの不安定さという根本的な問題は未解決のままです。
Source: app
