↓ Salta al contenuto principale

Qwen

Proxmox, vLLM e Hermes: il software del mio PC per l'AI locale

·1571 parole·8 minuti
Il software perfetto, come l’hardware perfetto, non esiste: dipende da cosa si vuole ottenere. Privilegio stabilità e affidabilità e uso sempre software open-source o, nel caso degli LLM, modelli open-weights. Nell’AI tutto cambia a velocità vertiginosa: inseguire ogni novità è impossibile e anche poco utile, ma capita spesso di dover provare una nuova versione di qualcosa o di toccare un parametro delicato. Basta un niente e si rompe tutto, irrimediabilmente. Senza una rete di sicurezza robusta, il PC resta fuori uso finché non si trova il tempo per sistemarlo.