SchifanoIA
Da qualche tempo ho in casa un’intelligenza artificiale che gira interamente su macchine mie, nel mio home-lab. Niente abbonamenti, niente dati che escono dalla mia rete. Non è arrivata tutta in una volta: ho cominciato con un PC configurato in un modo, poi si è evoluto in un altro modo e via così. Questo blog nasce per raccontare quell’evoluzione e, soprattutto, quello che ci ho costruito sopra.
Sono un informatico, e l’AI mi ha attratto fin da subito, sia come oggetto di studio sia come strumento di lavoro. La svolta, per me, è arrivata con i modelli a pesi aperti, in particolare quelli cinesi: per la prima volta un modello scaricabile ed eseguibile in locale era abbastanza capace da essere utile davvero, e non soltanto una curiosità da laboratorio o da nerd. Da lì è nata l’idea di costruirmi un’AI privata, senza spendere una follia.
Viene spontaneo chiedersi perché darsi tanta pena, quando un abbonamento ad Anthropic o OpenAI offre i modelli migliori al mondo senza alcuna manutenzione. È una domanda legittima, e per molti la risposta giusta è proprio l’abbonamento. Ma esistono buone ragioni per percorrere l’altra strada. La prima è la privacy: ci sono dati che non affiderei mai a un servizio esterno, e in locale il problema semplicemente non si pone. La seconda è il controllo: scelgo io il modello, la versione e la configurazione, e nessuno può cambiarmeli sotto il naso o chiudere il servizio o farmi pagare il doppio da un giorno all’altro. La terza, per un informatico forse la più seducente, è la possibilità di capire: un modello che gira in casa si può osservare, misurare, mettere alla prova. Quanto ai costi, conviene essere onesti: l’hardware ha un prezzo e l’elettricità non è gratis, specialmente qui in Italia. Il vantaggio non sta tanto nel risparmio quanto nel sapere esattamente quanto si spende, senza sorprese.
Bisogna anche sapere cosa non aspettarsi. Un modello locale su hardware tutto sommato modesto non raggiunge un modello di frontiera, e in locale si usano quasi sempre modelli quantizzati, cioè compressi per occupare meno memoria, con un inevitabile calo di qualità rispetto all’originale. Il software che orchestra il modello può compensare in parte, ma il divario resta. Eppure il progresso è rapidissimo: modelli di dimensioni contenute riescono oggi in compiti che fino a pochi mesi prima sembravano fuori portata. Le versioni 3.6 e 3.8 dei modelli della famiglia Qwen ne sono l’esempio lampante.
Valutare in modo oggettivo la qualità di un modello è un problema tutt’altro che banale, e non ho la pretesa di risolverlo. Qui adotterò un criterio più semplice e, credo, più onesto: un modello è abbastanza buono se fa funzionare i casi d’uso che mi interessano in modo sistematico e affidabile. Le classifiche contano poco; conta che il lavoro venga fatto, tutte le volte che serve.
Nelle pagine che seguono parlerò quindi di tre cose: dell’hardware, e di come si è evoluto nel tempo cercando di tenere a bada la spesa; del software, di quali strumenti uso e di come li configuro; e dei casi d’uso, di ciò che ho costruito e di quanto funziona davvero. Su quest’ultimo punto ho una posizione precisa. In rete si vedono molti esempi in cui un LLM viene scomodato per recapitare ogni mattina le notizie di Hacker News o le previsioni del tempo: dimostrazioni simpatiche, ma per cose del genere basta uno script. A me interessa altro. Mi interessano i compiti noiosi che rubano tempo, e quelli in cui l’AI offre un aiuto reale, qualcosa che senza di lei non avrei fatto o avrei fatto peggio. Per esempio, gestire le bollette di più appartamenti e collezionarne i dati e gli importi in un DB dove ho tutto sotto controllo automaticamente è una di quelle cose che mi risparmia tempo prezioso ogni mese.
Se l’idea ti incuriosisce, cominciamo da qui.