2024年のノーベル物理学賞は、人工知能（AI）の基礎となる人工ニューラルネットワークの機械学習に関する先駆的な研究で、アメリカのジョン・ホップフィールド氏とカナダのジェフリー・ヒントン氏に授与された。
ホップフィールドネットワークとAI
1982 年にジョン ホップフィールドによって導入されたホップフィールド ネットワークは、コンテンツ アドレス可能メモリシステムとして機能できるリカレント人工ニューラル ネットワークの一種です。これらのネットワークは、物理学のスピングラスの概念にヒントを得たもので、パターンを効率的に保存および取得できます。ホップフィールド ネットワークの主な機能は次のとおりです。
- 部分的またはノイズの多い入力から完全なパターンを復元する機能
- 非同期更新で減少または変化しないエネルギー関数の使用
- 巡回セールスマン問題などの最適化問題への応用
ホップフィールドの研究は、ジェフリー ヒントンのボルツマン マシンなど、機械学習のその後の発展の基礎を築きました。ホップフィールド ネットワークにはメモリ容量の制限がありましたが、現代のホップフィールド ネットワークなどの最近の進歩により、特に ChatGPT4 などの現在の AI システムで使用されているトランスフォーマー モデルとの類似性により、その可能性に対する関心が再燃しています。
ヒントンのディープラーニング革命
ジェフリー・ヒントンのディープラーニングへの貢献は、人工知能の革命を引き起こしました。1980 年代のボルツマン マシンに関する研究は、現代のニューラル ネットワークの基礎を築きました1。主なブレークスルーは次のとおりです。
- 多層ニューラル ネットワークを効率的にトレーニングするためのバックプロパゲーション アルゴリズムの開発
- ディープ ネットワークのトレーニングの難しさを克服するための先駆的な教師なし事前トレーニング方法
- 機械学習タスクの多目的ツールとなった制限付きボルツマン マシンの共同発明
ヒントンの研究により、はるかに大規模で複雑なニューラル ネットワークのトレーニングが可能になり、コンピューター ビジョン、音声認識、自然言語処理などの分野で劇的な改善がもたらされました。これにより、学界と産業界全体でディープラーニングへの関心が高まり、現在の急速な AI 進歩の時代が到来しました。
AIにおけるボルツマンマシン
ボルツマンマシンは、1985 年にジェフリー ヒントンとテリー セジュスキーによって導入され、現代の AI12 の開発に重要な役割を果たした確率的リカレント ニューラル ネットワークです。ボルツマンマシンの主な特徴は次のとおりです。
- 内部表現を学習し、入力に対して複雑な確率分布をモデル化する機能
- 統計物理学の原理にヒントを得たエネルギー ベース モデルの使用
- 効率的なトレーニングのためのコントラスト ダイバージェンス学習アルゴリズムの適用
ボルツマンマシンは計算コストが高いことが判明しましたが、制限付きボルツマンマシン (RBM) がより実用的なバリエーションとして登場しました。RBM は、ディープ ビリーフ ネットワークとディープ ボルツマンマシンの基本的な構成要素となり、教師なし学習と生成モデリングの分野に大きく貢献しました。ボルツマンマシンは、最近のディープ ラーニング アーキテクチャに大きく取って代わられましたが、現代の AI システムで使用される多くの概念の基礎を築きました。
