昨年12月に、SNSプラットフォームのTumblr（タンブラー）は卑猥なポルノコンテンツを規制するとアナウンスし、AIを用いた検閲システムでその排除を実行しました。しかし、結果的に規制はきちんと機能せず、面白がったユーザーがさらにポルノコンテンツを投稿してチェック機能はザルであることも証明されてしまいました。AIによるコンテンツチェックシステムの現状と課題をジェシカがフィーチャーします。
多数の「無害なコンテンツ」が規制されてしまった
タンブラーはツイッターとインスタグラムとブログを融合させたようなSNSプラットフォームで、写真や自身が描いた絵などの画像も頻繁にアップロードされています。時折セクシャルなポルノコンテンツが上げられることもありましたが、運営はプラットフォーム健全化のために卑猥なコンテンツを排除しようとする動きを進めており、その作業をAIによるチェック機能が担うことになりました。
しかし、チェック機能によってban（削除）されたコンテンツには、花や魚など全くポルノ要素の無いコンテンツも多々あり、4億以上のブログと1600億以上の投稿が誤って規制されてしまったのです。タンブラーが使用したフィルター機能の詳細は、同社が開発したものなのかなどの詳細も明らかになってはいない状態ですが、例えば女性の乳首が露わになっている作品に対して、それが「アート」なのか、あるいは「卑猥なポルノ」なのかという判断基準も曖昧であるため、タンブラーの運営方針自体も曖昧な状態でした。
「アート」と「『猥褻な』コンテンツ」の境界線
そもそも「性的な描写を含むアート」と「卑猥なポルノ」を明確に区別するのは非常に難しく、アメリカで裁判が行われた過去の事例を見てもはっきりとしたラインは存在しません。その中で「タンブラーという私企業が規制を行うこと自体に無理がある」という議論も存在します。
「女優」の裸ならアートなのか、「AV女優」であればポルノなのか、被写体・モデルあるいは撮影や描写を行なったカメラマン・アーティストなど、さまざまなコンテクストを含めて「誰かによる主観的な判断」でしか基準は設けられないのが実情で、一概に機械学習やAIによる画像認証で規制を行うというというのはそもそも無理があった言えるでしょう。
AIによる「ポルノ」の認識
AIにポルノを発見させるためには、まず最初にAIにポルノとは何か、多くのポルノに関する情報を与えなければなりません。「例えばPornhubやXVideosのような動画共有プラットフォームからコンテンツを利用して機械学習をさせるとするならば、そもそも著作権を侵害して違法にアップロードされているコンテンツも多く、それを利用して完成したシステムは『あなたのもの』だと言えるでしょうか？」アメリカの外交官でオバマ政権時代にイスラエル大使を勤めたDan Shapiroはこのような指摘をしており、そもそもポルノをポルノとして認識するAIの構築にも、さまざまな問題が孕んでいるのです。
例えポルノをポルノと認識するシステムが完成したとしても、AIによって「ポルノだ」と認識されたコンテンツを多くの人が「ポルノではなくアートだ」という印象を抱く可能性もありますし、その逆もまた然りです。結局主観と個人差がある部分に機械学習・AIを導入したとしても、そのチェック機能はザルになってしまうのは仕方のないことなのかもしれません。
機械学習・AIの限界
アルゴリズムにとって「全てにおいて正しい判断を下す」というのは非常に難しい作業です。女性の肌の露出が多い下着会社の広告コンテンツなども、AIにはポルノだと判断されてしまうかもしれません。また、現状ではAI・機械学習がアニメ、漫画の性的コンテンツを「ポルノ」と判断するのは難しいでしょう。
このような状況下では、最終的に「人間による判断」に頼らざるを得ないのが現状ですが、しかしそれもやはり「ポルノとアートの境界線が明確ではない」という問題がある以上、正確なガイドラインを設けることは難しく、規制を導入したとしてもタンブラーの投稿全てを人間の目でチェックするのは無理があります。そして、「ポルノをポルノと断定する基準の曖昧さ」が存在している分野においてAI・機械学習による検閲機能を整備しても、「人間の手作業の限界」を解決することはできないのです。
人間の「曖昧」な感覚
人間の感覚は実に曖昧ですが、その曖昧さは「文脈を考える」「状況証拠から判断する」など曖昧ゆえに成立している事柄も少なくありません。しかし、例えば日本ではアダルトコンテンツにおいて生殖器にモザイクをかけなければ作品を販売することはできませんが、モザイクには一体何の意味があるのか、それをはっきりした基準を元に説明できる人は誰ひとりとして存在しません。
そして人間が人間の感覚を用いて「曖昧な判断」を下すしか無い分野においては、AIの導入にも限界があると言えるでしょう。人間の作業ボリュームの限界を見越して導入されようとしているAIですが、全体を見通した上でAIがどのように機能するかの最終判断は、人間に委ねられているというパラドックスが存在するのです。
なお、タンブラーの規制に関しては現在、制限されてしまったコンテンツには異議を申し立てることができ、異議申し立てのあったコンテンツは人力での確認作業を行なった上で判断される仕様になったようです。
Tumblrユーザーのみなさま!
ブログに投稿したコンテンツが不適切に成人向け指定されてしまった場合の確認と抗議方法が簡単になりました。アカウントをクリックし「成人向けに指定された投稿を見る」を選択すると指定された投稿を時系列順に確認できます。
（中略）
間違いを指摘された投稿はすべて人間が確認し、間違いだった場合には指定は外され、今後は自動では成人指定されなくなります。
Tumblr Nihongo — Tumblrユーザーのみなさま! ブログに投稿したコンテンツが不適切に成人向け指定されてしまった場合...
参考：Can you teach a computer to detect porn? - The Verge
