📅 2026年04月01日
この記事はテスト用のダミー記事です。
自宅のPCでどこまで高性能なモデルを動かせるか検証します。
📅 2026年03月15日
はじめに
近年、クラウド型のAPI(OpenAIのChatGPTやGoogleのGeminiなど)が主流となる一方で、手元のマシンや自社サーバー内で完結して動作する「ローカルAI(オープンモデル)」へ…
📅 2026年03月12日
はじめに
NVIDIAが提供するTensorRT-LLMは、大規模言語モデルの推論を極限まで最適化するためのライブラリです。
最適化の手法
量子化(INT8, FP8)
PagedAttention…
📅 2026年03月10日
ROCm のセットアップ
NVIDIAのCUDAに相当するAMDのROCmを使えば、Radeon GPUでもLLMの推論を高速化できます。
環境構築の注意点
Linux(Ubuntu)環境が公式サポー…