Låter på pappret intressant om man vill köra en LLM lokalt. Har ett 4080 idag och känner mig extremt begränsad av minnesmängden.
Är väldigt nyfiken på ett kort i denna kaliber för att köra LLM lokalt. Två frågor gör mig osäker. Kostnad samt prestation.
Tyvärr så är Intels stöd för LLM kasst. Jag köpte ett A770 för att köra LLM och det var en mardröm:
1. De har sitt eget oneAPI och det saknas för tillfället stöd för det i Ollama. Intel har en egen branch av Ollama som ligger hopplöst efter master, man kan inte ens köra gemma3 med Intels variant. Den är även mycket segare under Linux än Windows.
2. vLLM och LM Studio går att köra med Vulkan men är långsammare.
3. Det går inte att styra varken power limit eller fläktar i Linux
4. Fläktarna fastnade på 100% efter att jag hade kört en fråga och gick inte ner innan man startade om burken
5. A770 verkar dra minst 40W i Linux, även utan ansluten skärm. Att göra pass-through till en Windows-VM hjälpte inte.
Jämförelse under Linux/Windows, Intels egen branch av Ollama 2.2.0 nightly build.
RIPE LIR
