「深層学習の原理に迫る 数学の挑戦」を読みました。いまだ解明されていない深層学習の原理について数学的な観点で迫ってみるという内容です。
深層学習自体は古くからあるが、以前は層を増やしても精度は変わらないと数学的に証明されていたそうです。それが、実際にやってみたら精度が出てみたってことで、一気に普及したけど、実際はなぜだろう？ってことになっているそうです。私が思うに、以前は膨大な計算を実現する環境がなかったので、机上で検証してたけど、現在はマシン性能が飛躍的に向上した。試しにやってみたら上手くいったってことだと思います。そこで、なんでだろうってなっている模様です。第三次AIブームの立役者となる深層学習。実はよく分からないまま使っているって点がすごく興味深かったです。
【2026年 追記】「なぜ深層は効くのか」はその後どうなったか
この本を読んだ2021年から数年が経ちましたが、「深層学習がなぜうまくいくのか」という問いそのものは、いまも完全には決着していません。ただ、当時よりも議論の見取り図はかなり整理されてきた印象があります。
この本を読むうえで手がかりになるキーワードをいくつか挙げておきます。過剰パラメータ化（over-parameterization）は、パラメータ数が学習データ数を上回るような「明らかに過学習しそうな」モデルが、なぜか汎化してしまうという現象です。二重降下（double descent）は、モデルを大きくしていくと誤差がいったん悪化したあと再び下がる、という古典的な統計の常識に反する挙動を指します。暗黙の正則化（implicit regularization）は、明示的に正則化項を入れていないのに、勾配降下法という最適化アルゴリズム自体が「単純な解」を選ぶ方向に働いているのではないか、という見方です。
この本の面白さは、こうした「実際に動いているのに理由が説明しきれていない」状況を、ごまかさずに数学の側から正面から扱っているところにあると思います。生成 AI が当たり前に使われるようになった今のほうが、むしろ「土台の理屈はまだ完成していない」という事実の重みは増しているかもしれません。
数式が出てきますが、読み飛ばしても論の流れは追えるように書かれています。深層学習を使う側から、少し中身を覗いてみたい人に向いた一冊です。
