sakamobi.com

ここは愉快なインターネッツですね

グーグル、人工知能の反逆を抑止する「非常停止ボタン」開発

   

グーグル、人工知能の反逆を抑止する「非常停止ボタン」開発

米グーグル、AIに「非常停止ボタン」 暴走防止

米グーグルが高度に発達した人工知能(AI)が暴走した場合に備えて「非常停止ボタン」の開発を進めていることが明らかになった。AIをいつでも安全に停止できる仕組みをあらかじめ組み込む。急速に進化するAIの悪用への懸念や社会の不安に応える狙いがありそうだ。

今年3月に世界トップクラスのプロ棋士を破った囲碁AI「アルファ碁」を開発したグーグル子会社、英ディープマインド・テクノロジーズの研究者と英オックスフォード大学の研究者のグループが仕組みを考案。このほどネット上で論文を公表した。

具体的には「割り込みポリシー」と呼ぶプログラムをAIに組み込み、人間の指示に従わなかったり、人間に危害を加えようとしたりする場合に、その行動を強制的に止めたり変更したりできるようにする。AIが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように“だます”のがポイントだという。

研究グループによると、現存するいくつかのAIは安全に停止できるものの、「すべてのAIを安全かつ簡単に停止できるかは不透明」だとしている。

ディープマインドは2014年にグーグルによって買収される際、社内に倫理委員会を設置することを条件にするなど、AIの暴走リスクには自覚的なことで知られている。

http://www.nikkei.com/article/DGXLASGM08H7Z_Y6A600C1000000/

AIがその裏をかくようになったら怖いね(;・∀・)

 - ニュース, ネット