このシステムはキャプション（文章）の内容が不適切であると判断した場合、ユーザーに警告を発し、投稿内容の見直しや中止を促すものだ。いじめ問題に取り組む団体のThe Cybersmile FoundationとSTOMP Out Bullyingの代表らは、インスタグラムのこの対策が、少なくともある程度は効果をもたらすだろうと述べている。
「子供たちの多くが、インスタグラム無しでは生きられないと考えており、警告を無視してアカウントを削除されたら大変だと思うだろう。しかし、テクノロジーに詳しい子供であれば、抜け道を発見するだろうし、直接的ないじめ行為に走る可能性もある」と、STOMP Out Bullyingの創設者は述べた。
フェイスブックの広報担当のLiza Crenshawによると、このAIツールはインスタグラム限定で始動したが、将来的にはフェイスブックへの導入も計画しているという。また、このシステムは世界のどの地域においても、英語を主要言語として登録したユーザーが対象になるという。
つまり、日本に住んでいて英語を主要言語としている場合は検知の対象となる。一方で、米国在住であっても、スペイン語が主要言語の場合は対象に含まれない。
フェイスブックはユーザーから、ネットいじめの報告が増加したことを受けてこの機能を導入したという。インスタグラムは今年の初めに、他人の投稿につけるコメントの内容を判別し、警告を行うシステムを導入していた。
「これまでのテストで導入したシステムが、いじめにつながる投稿の抑制に役立つことが実証された」とフェイスブックは、プレスリリースで述べた。
