Adapter les modèles LLM à la RAM, au CPU et au GPU de votre machine

llmfit analyse votre RAM, CPU et GPU pour recommander le bon modèle LLM — fini les OOM à 3h du matin lors d’un premier test local.

Lien source

Right-sizes LLM models to your system’s RAM, CPU, and GPU

Discussion sur Hacker News (301 points)