ROCm のセットアップ

NVIDIAのCUDAに相当するAMDのROCmを使えば、Radeon GPUでもLLMの推論を高速化できます。

環境構築の注意点

Linux（Ubuntu）環境が公式サポートの中心ですが、昨今はWindows（DirectML等）での動作も徐々に整備されてきています。