メモリアクセス
メモリアクセスとは、CPUやマイクロコントローラなどの演算装置がメインメモリやキャッシュに格納されたデータへアクセスし、読み書きを行う仕組みの総称である。コンピュータ内部では、処理に必要な命令やデータをメモリから取り出して実行し、結果を再びメモリに書き戻すという動作が絶えず繰り返される。そのためメモリアクセスの効率や速度は、システム全体の性能に大きな影響を及ぼす。ここで重要となるのは、メインメモリ（DRAMなど）の物理的特性とCPUの演算サイクルとのギャップをいかに埋めるかという点である。メモリの処理速度はCPUに比べて相対的に遅いため、キャッシュの利用やアクセスパターンの最適化がコンピュータシステムの高性能化において不可欠となっている。
基本的な仕組み
CPUが命令を実行するとき、プログラムカウンタの指し示すアドレスからメモリ内の命令を取り出し、内部の演算ユニットで処理する。その際、必要なデータがメモリ上のどのアドレスに存在するかを特定し、読み取りや書き込みを行うことがメモリアクセスの本質である。メインメモリに直接アクセスするためにはアドレスバスやデータバスを介して信号をやり取りするが、現代の高性能プロセッサではメモリアクセスを高速化するためにキャッシュメモリやプリフェッチ機能が活用され、性能を飛躍的に高めている。
種類と階層構造
大まかに区分すると、メインメモリ（DRAM）へアクセスする場合とキャッシュメモリへのアクセス、また補助記憶装置（SSDやHDD）へのアクセスに分類される。CPUとの速度差は補助記憶装置へ向かうほど大きくなるため、マルチレベルキャッシュ（L1、L2、L3など）を挟む多段階の階層構造が生まれた。L1キャッシュはCPUコアに極めて近い位置にあり超高速だが容量が小さい。一方、L3キャッシュやメインメモリはアクセス時間が長くなる反面、容量が大きいという特徴を持つ。適切なデータをキャッシュに保持することで、全体的なメモリアクセス効率が大きく向上する。
キャッシュの役割
キャッシュの基本的な役割は「局所性の原理」に基づいて、次に使われる可能性が高いデータを先に取り込んでおくことにある。時間的局所性（あるデータが一度使われると近い将来再度使われる傾向）と空間的局所性（連続したアドレス空間のデータがまとめて参照される傾向）を利用して、キャッシュヒット率を高めることでCPUとメモリ間のボトルネックを軽減できる。代表的なアルゴリズムとしてLRU(Least Recently Used)方式などが採用され、データの入れ替えを最適化する工夫が施されている。
性能への影響
CPUのクロック周波数が高まるほど、メインメモリへのアクセス時間との相対的な差が拡大し、強力なキャッシュ機構やバス幅の拡張が一段と重要となる。メモリアクセス待ちによるCPUのパイプライン停滞は、実行効率を大幅に落とす要因となる。これを回避するため、発行命令数を増やして並列に実行するアウト・オブ・オーダー実行や、パイプラインを極限まで深くするスーパーパイプラインなどの技術が組み合わされてきた。いずれの方法も、最終的にはいかにメモリアクセスを最適化し、高い処理スループットを得るかが最大の鍵となる。
最適化手法
ソフトウェアの視点でも、メモリを効率的に使うプログラム設計が重要である。配列アクセスのパターンを連続的にし、CPUキャッシュに格納されやすい構造を採用するといった工夫が挙げられる。例えば行列演算では行優先でデータをアクセスすることでキャッシュミスを最小化できる。また構造体を最適に配置し、パディング領域を減らすなど、メモリアラインメントを考慮したコーディングも有効である。さらに言語仕様に依存した最適化や、コンパイラの自動ベクトル化を活かすことで、実行速度を飛躍的に高めることが可能となっている。
今後の展望
近年はメモリ技術として3Dスタックメモリや新素材を用いたNVM(Non-Volatile Memory)などが開発され、メモリ帯域の拡大とアクセス遅延の削減が目指されている。さらにCPUとメモリを同一パッケージ内に組み込むSiP(System in Package)の概念や、ニューラルネットワーク専用のアーキテクチャでは、計算とメモリアクセスの物理的距離を極限まで縮めることで性能を高める研究が盛んである。これらの技術が実用化すれば、次世代コンピューティングの標準形態として、より高速で効率的な処理環境が実現する可能性が高い。