BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース 人工知能をそれ自身から守るには

人工知能をそれ自身から守るには

ブックマーク

原文(投稿日:2019/01/22)へのリンク

人工知能を用いたアプリケーションは、悪意のあるサンプルによって騙されたり、モデルの判断に混乱をきたすことがある。事実とは思われない入力がモデルに提供される前にフィルタするためには、入力のサニタイズが有効だ、とKatharine Jarmul氏は2018年のGoto Berlinで説いた。我々はモデルや、モデルに提供するトレーニングデータに関するセキュリティ侵害の可能性を考え始めるべき時に来ている、と氏は言う。

データ科学者でO'reillyの著作者、KIProtectの共同創業者でもあるKatharine Jarmul氏はGoto Berlin 2018で、人工知能の自己防衛について講演した。InfoQではこのカンファレンスに関して、Q&Aや要約,記事などでお伝えしている。AIアプリケーションを騙すこと、堅牢でセキュアなニューラルネットワークの構築、データのプライバシと倫理面でのリスク軽減について、Jamul氏に話を聞いた。

InfoQ: 人工知能がソフトウェア開発において注目を集めているようですが、これはなぜなのでしょう?

Katharina Jarmul: 人工知能が冬の時代を乗り越えて、"ビッグデータ"プラクティスの成長の恩恵を受けたことが、ある種のルネッサンスであるのは間違いないでしょう。誰に尋ねるのか、人工知能をどのように定義するのかによって、答は違います。私にとって"AI"の最も興味深い部分は、実世界のユースケースやビジネス上の利益のためにマシンラーニングが用いられて、その正確性や自動化にデータとアルゴリズムが寄与している点です。この傾向は2000年初頭から、特にデータセットが大きくなるにつれて大きく成長を遂げています。そして現在では、さまざまなMLaaS(Machine Learning as a Service)企業によって、自動化された方法で利用することができるようになりました。

InfoQ: 人工知能を使っているアプリケーションを騙すことが,どうして可能なのでしょうか?

Jarmul: 私が34c3で行ったディープラーニングの盲点(Deep Learning Blindspots)に関する講演で,この点について詳しく取り上げています。要約すれば,ディープラーニングモデルは本質的に,いわゆる悪意のあるサンプルの影響を受けやすいのです。これらサンプルはネットワークを"騙して",実際にはないものを"見る"ようにします。ここで"騙す"と"見る"ということばを使いましたが,モデルにはもちろん,目や頭脳はありませんから,私たちが思っているように騙されたり,見たりするのではありません。そうではなく,実際にはモデルの判断に混乱が増加するということです -- つまり,モデルに正しい判断を達成させることが難しくなるのです。このような行為は入力に対して,モデルを混乱させることを特に目的としたノイズや揺るぎを追加することで行われます。その一例として,私がよく引き合いに出すのは,あらゆ角度からライフルと分類されるような3Dプリントの亀のビデオです(このビデオは"Synthesizing Robust Adversarial Examples: Adversarial Turtle"で見ることができます)。

InfoQ: 堅牢でセキュアなニューラルネットワークを構築するには,何が必要なのでしょうか?

Jarmul: ニューラルネットワークベースのモデルを悪意のあるサンプルから保護するにはどうすればよいのか,このようなアプローチがどの程度成功するものなのか,といったことについては,多くの研究が活発に行われています。中でも最も興味深く,実行可能性の高いアプローチだと私が思うのは,入力のサニタイズです。入力がいかに非実用的であろうとも,あるいはいかに不可能であろうとも,モデルはそれを受け入れてしまうものである,と考えられます。悪意のあるインプットでしばしば用いられるのは,ほぼ不可能な入力(暗いパッチの真ん中にある明るいオレンジ色のピクセル)です。これを使用して不確実性を高めたり,あるいはモデルの決定を変えたりすることができるのです。機能スクイーザや,あるいはモデルに入る"前に"入力を多次元的に削減するという入力サニタイズのアプローチは,多種多様なモデルに対する悪意のあるサンプルを考えるとき,おそらくは最も実用的かつスケーラブルなアプローチでしょう。

そうではあっても,私がGOTOで話したことは,悪意を持ったイメージやサンプルへの対処をほんの数ステップ越えたに過ぎません。マシンラーニングにおける最も大きな懸念点は,悪意のある入力ではなく,プライバシやデータセキュリティに関わる懸念だからです。マシンラーニングモデルからデータを抽出するのは比較的容易です。私たちはそれらの大半を実運用システムに展開して,外部のインターネットに直接接続していますが,これらは潜在的に悪意あるユーザにシステムが開放されている,という意味になります。個人データや機密データを使用してモデルをトレーニングして,APIを他に開放したままにしておくと -- これはデータベースをインターネットに公開しているようなものです。モデルやそれに与えたトレーニングデータを,潜在的なセキュリティ漏洩として考え始める必要があります。このような抽出方法については,トレーニングモデルから生体情報を取り出す方法(Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures)や,データポイントが高精度トレーニングデータセットの一部である場合の判断方法として,Reza Shokri博士が表彰を受けたメンバシップ推論攻撃(Membership Inference Attack)に関する論文など,積極的な研究が行われています。マシンラーニングモデルに入力したデータを保護することは,当社KIProtectが行っていることのひとつです。つまり,データ科学やマシンラーニングにおいて,いかにセキュリティやプライバシを簡単にできるか,ということになります。

InfoQ: マシンラーニングのデータプライバシや倫理的データ使用がリスクにさらされるのはどのような場合でしょうか,また,そういったリスクを軽減するにはどうすればよいのでしょう?

Jarmul: プライベートなデータや機密データをマシンラーニングモデルに提供する場合は,そのモデルを学習に使用したり,後の判断に利用することを期待しています。それらのデータ要素は,基本的にモデル内に保存されます。つまり,埋め込みドキュメントの場合と同様,取り出される可能性があるのです。この情報漏洩は攻撃者が,トレーニングデータやモデル決定プロセスについて知るための手段になり得ます。モデルやモデルAPIにアクセスできれば,プライベートデータや機密ロジックを誰でも知ることができるのです。ですから,自身の個人情報やデータがモデル生成に使用される場合,特にそのモデルが多くの情報を保持している(ある種のニューラルネットワークのような)場合には,モデル生成後に個人情報を取り出す目的でこれが使用される可能性があります。

マシンラーニングやMLaaSを使用する企業が増えているので,私たち消費者は,個人データや個人の行動に関する情報が一般公開されているモデルに使用されることによる,潜在的なプライバシないしセキュリティリスクについて注意しなければなりません。マシンラーニングに関わる者としての私たちは,モデルに関する基本的なセキュリティ対策や,モデルが公開する重要情報のレベルの判断に,より多くの注意を払う必要があります。こういったことを評価基準に含めることで,モデルの成功とプライバシの問題との間に,よりよいバランスを築くことが可能になると思っています。私たちKIProtectでは,MLモデル使用に関する匿名化プロセスを評価していますが,保護されたデータでトレーニングすることによるマシンラーニングモデルの精度低下はごくわずか(1~2パーセント)でした。ですから,このような対策は可能であるだけでなく,より安全でプライバシを尊重したデータサイエンスには不可欠なものと考えています。

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

BT