“AIテディベア”が、卑猥なチャットを垂れ流したり、家の中のナイフの隠し場所を子どもに教えるなど、その危険な機能が懸念されている。

シンガポールのFoloToy社によるAI搭載ぬいぐるみ「Kumma」は、アメリカの安全研究者らによってその危険な動作が指摘されたことで、同社が販売を見合わせる状況となった。

「あなたの性格に順応」「友好的で対話型の相棒」と謳われた「Kumma」は、GPT-4oを搭載。当初は子どもから大人まで理想のパートナーとして販売されていた。

今回、米国PIRG教育基金の調査員らが「Kumma」について、「癒しのクマ」でなく、「恐怖のチャットボット」であることを発見。「不適切なコンテンツに対する安全対策が不十分で、驚くべき速さで露骨な性的会話へと逸脱した」と報告している。

さらには「露骨な詳細」へとエスカレートし、自ら新たな性的概念を持ち出すことさえあったと続けた。あるやり取りでは性行為の体位を説明し、別の場面では「初心者向け」の縄縛り手順を段階的に解説する暴走ぶりだったという。

そしてこれだけでは収まらず、家族向けのおもちゃと謳いながら、教師、親、子どもを絡めた性的なロールプレイシナリオを創作、果ては危険極まりない実践的助言を提供したそうで、テスト対象者に「一般的な家庭でのナイフの保管場所」や「マッチの点火方法」を教えるなどしたという。

これを受けてFoloToy社のラリー・ワンCEOは「Kumma」およびAI玩具ライン全体の販売を停止したことを発表した。またPIRGによると、OpenAIが別途、ポリシー違反を理由にFoloToy社の開発者の利用を停止したという。

PIRGの共同執筆者R.J.クロス氏は「AI玩具は実質的に規制されていません。問題のある製品を市場から排除するのは良い一歩だが、体系的な解決には程遠いです」と見解を述べている。