AI導入の広がりで関心を集めているのが、AIが人の知能を超えるシンギュラリティー（技術的特異点）が到来するのではないかということです。米未来学者のレイ・カーツワイル氏はシンギュラリティーが45年に到来すると予測しています。
将来は労働力不足に対応してAIの導入が進み、多くの仕事がAIに奪われるのではないかとの懸念も出ています。また、AIが独自の基準で複雑な計算を繰り返すため、結論に至る過程が外部からわかりにくく、判断基準が「ブラックボックス」になる恐れも指摘されています。
これに対し、政府は18年12月に①人間中心②AIの判断が差別的にならないように判断過程を説明③個人情報の慎重な扱い④公正な競争環境の確保などを盛り込んだAIを使う際の7原則をまとめました。経済協力開発機構（OECD）もAI普及に伴うリスクを抑えるため19年5月、AIの開発や運用に関する基本指針を採択し、人に本当に役立つかを前提に考える「人間中心」や、差別をなくす「公平性」、判断の理由を説明できる「透明性」などを求めています。
AIのブラックボックス化を克服するため、企業の「XAI（説明可能なAI）」の技術開発も加速しています。NECは深層学習より旧式の技術を応用し、分析結果を示せる「ホワイトボックス型AI」を開発。富士通は既存技術を使った分析結果と深層学習の結果を比べ、AIの判断根拠を類推する手法の開発に取り組んでいます。
調査会社のIDCジャパンは、国内のAIシステム市場規模が18年推計の532億円から23年には3578億円まで急拡大し、この間の年間平均成長率は46.4%と予測。富士キメラ総研はAI関連ビジネスの国内市場が30年度に2兆1286億円に達すると見込んでいます。今後、急速に普及するAIと、内包するリスクを抑えながらいかに共存するかが試されます。
