È di metà febbraio 2024 la notizia del lancio del chatbot Chat With RTX, che sfrutta le potenzialità dei Tensor Core delle GPU NVIDIA per eseguire un assistente IA in locale. AMD non si è fatta attendere e ci ha voluto mostrate quant’è semplice fare lo stesso con le sue CPU e GPU.
I Ryzen 7040 e 8040 (i cosiddetti Ryzen AI PC dotati di acceleratori XDNA) e le schede video AMD Radeon RX Serie 7000, infatti, sono potenzialmente in grado di eseguire LLM compatti in locale. Basta configurarne uno, non necessariamente sviluppato ad hoc per l’occasione dall’azienda madre.
AMD prosegue, quindi, con il suo approccio “open” consigliando di utilizzare LM Studio, tool che si trova a uno stato di sviluppo più avanzato rispetto a Chat With RTX, che può eseguire un LLM in locale in presenza di una GPU NVIDIA RTX.
Per la guida completa in originale potete fare riferimento al link che trovate alla fonte, in fondo a questa notizia. Se volete provarlo, dovrete scaricare un file a scelta a seconda del vostro hardware. Se avete un Ryzen AI, potete scaricare la versione stabile di LM Studio a questo link. Viceversa, in presenza di una scheda video AMD Radeon RX 7000, dovrete utilizzare questa technical preview di LM Studio – ROCm.
Eseguite il file. Nella barra di ricerca dovrete inserire il comando di vostro interesse a seconda che vogliate eseguire Mistral 7b
TheBloke/OpenHermes-2.5-Mistral-7B-GGUF
oppure LLaMa v2 7b
TheBloke/Llama-2-7B-Chat-GGUF
Di recente è stato aggiunto anche il supporto a Gemma di Google, sia nella variante 2B che in quella 7B. A questo punto, nel pannello di destra scorrete fino a trovare il file Q4 K M. Scaricatelo e attendete il termine del processo.
I Ryzen AI PC, al termine del download, potranno già iniziare a chiacchierare con il chatbot. Al contrario, se avete scaricato la ROCm preview, dovrete attivare “GPU Offload” nel pannello di destra e spostare il relativo slider fino a “Max“. Al di sotto, assicuratevi che nel campo “Detected GPU Type” sia indicato “AMD ROCm“, altrimenti ripetete il processo d’accapo.
