ディープラーニングは、さまざまなビジネスプロセスを自動化してくれる人工知能（AI）技術だが、機械が自ら膨大なデータを学習し“自律的”に答えを導き出すという特性上、その「思考のプロセスが人間には分からない」という問題がある。この問題がすなわちブラックボックス問題と呼ばれている。日本の著名なAI研究者のひとりは、次のように解説する。
「例えば人間が物事を思考する際、思考レベルは数次元が限界でしょう。一方で現行の人工知能は、数十～数百次元のレベルで物事を思考することができる。つまり、ディープラーニング技術を採用した機械が出した答えについて、どうしてその答えに至ったかという過程を、人間は追えないのです」
現在、検索サイトにおける画像判断サービスなど分野では「ブラックボックスが多少あってもそれほど問題にはならない」というのが、業界関係者たちの基本的な論調となっている。機械が対象を誤って判断したとして、その過程が分からなくとも、人々にとってクリティカルな状況を招く可能性が低いというのがその理由だ。
とはいえ、過去には有名IT企業のAI画像認識サービスが黒人女性の顔画像をゴリラと判断し、人権上の観点から一時稼働停止に追い込まれた例もある。実用化が比較的容易とされているサービスにおいても、ブラックボックスの問題は、企業リスクに直結しうる課題となりつつあるのだ。
一方、故障や不良品の発生が致命的な損害に直結する製造業などの現場においては、すでに「ブラックボックス問題は避けては通れない課題となっている」と指摘するのは、日本のある学会関係者だ。
「日本の学会や製造業の現場でも、実はディープラーニングに否定的な人は少なくありません。理由はブラックボックスの問題があるから。製品の安全対策は万全でなければならず、しっかりと判断および予測の過程を追える人工知能のほうが有益であるとの意見があるのです」
人工知能に問題が起こった際、ユーザー（もしくは企業の存続において）に致命的な損害を与えうる業種では、ディープラーニングの実用化とブラックボックス問題の狭間で悩まされているエンジニア・経営者が海外では増えてきているという。
例えば、自動車産業では、自動走行車が正しい道路を逸脱した場合、エンジニアはその理由を特定することが必須だろう。また顧客の信用リスクの審査にAIを使用している金融系企業は、評価に偏りが発生しないよう注意を払う義務がある。
だが、ブラックボックスはそれらの課題を困難なものにする。おそらく今後、ディープラーニングの実用化にあたって、機械の予測や判断の中身を知り、説明できるようにしたいという企業の声は日ごとに高まることが予想される。
