-
株式会社ずんだもん技術室AI放送局 podcast 20250214
- 2025/02/13
- 再生時間： 1分未満
- ポッドキャスト
-
サマリー
あらすじ・解説
- LLMの重みの量子化でパフォーマンスが改善する仕組みについて
LLM（大規模言語モデル）の重みを量子化すると、なぜ処理速度が向上するのかを解説します。ここでは「Rooflineモデル」という図を使って、計算処理がボトルネックになっているか、メモリ転送がボトルネックになっているかを視覚的に判断します。もしメモリ転送がボトルネックになっている場合、重みを量子化してデータ量を減らすことで、GPUの利用率を上げ、パフォーマンスを改善できます。ただし、量子化による速度改善は、ハードウェアやフレームワークの性能に依存し、理想的な効果が得られない場合もあります。
引用元: https://zenn.dev/bilzard/articles/how-performance-improved-by-weight-quantization
- ChatGPT deep researchに見るAIが自律的に考える未来
OpenAIのdeep researchは、AIが自律的に調査を行うAIエージェントです。従来のAIと異なり、人間のように試行錯誤しながら計画、検索、分析を進めます。ポイントは、AIが自律的に考え、行動する点です。調査の過程で新たな発見があれば、計画を柔軟に変更し、まるで人間のリサーチャーのようにPDCAサイクルを回します。この背景には、じっくり考えることを学習した「推論モデル」の存在があります。今後は調査業務だけでなく、様々な業務領域で自律的なAIエージェントの実現が期待できます。
引用元: https://tech.layerx.co.jp/entry/2025/02/13/175317
- 自分の作品をAIに学習させたくない方に。意向を設定できるようになりました｜note公式
noteに投稿したコンテンツを、生成AIの学習データとして利用されたくない場合、設定画面からオプトアウトできる機能が追加されました。アカウント単位で設定可能で、全ての設定コンテンツに適用されます。設定方法は、アカウント設定画面から「生成AIの学習に拒否意向を示す」をONにするだけです。
引用元: https://note.com/info/n/n21b09699c67d
- お便り投稿フォーム
（株式会社ずんだもんは架空の登場組織です）