DigiTimesの本日の報道によると、マイクロンは高耐久性NANDフラッシュモジュールを研究しています。同社は、従来のストレージ方式のように複数のプロトコルを介してGPUから離れたストレージプールに接続するのではなく、GPUにより近い位置に配置する計画です。
報道によると、マイクロンはNANDフラッシュをGPUにさらに近づける方法を検討しており、ストレージ密度と耐久性の間で妥協点となるソリューションの提供を目指しています。この製品は現在「GPU近傍NAND（注：near-GPU NAND）」と呼ばれており、低レイテンシーや高帯域幅を必要としないワークロードの処理に利用できます。
この方式では、GPUが数百GBのNANDストレージプールに直接アクセスできるようになります。NANDはGPUパッケージ内部やPCB上に直接配置でき、HBMやGDDR7などと同様に動作します。従来のTLCやQLC NANDと比べ、このNANDチップはストレージ密度を抑え、I/O速度と帯域幅の向上を重視しています。
このストレージ層はGPUメモリと一般的なストレージの間に位置し、高速キャッシュ層として機能するため、より大規模なAI大規模言語モデルの実行に特に適しています。この方式が実用化されれば、LLMの推論はGPUメモリ容量の制限を受けなくなります。