Meta představila nový model Muse Glimmer, který míří přímo do počítačů uživatelů. Přestože má 30 miliard parametrů, díky speciální kompresi dokáže fungovat lokálně na Macu nebo PC a zaměřuje se především na autonomní práci, programování a používání nástrojů.
Většina dnešních pokročilých AI služeb stále spoléhá na cloud. Uživatel odešle dotaz na vzdálený server, tam se zpracuje a výsledek se vrátí zpět. Muse Glimmer jde opačnou cestou. Model od společnosti Meta běží přímo na zařízení, takže pro jeho používání není nutné neustálé internetové připojení a citlivá data nemusí opouštět počítač.
Mohlo by vás zajímat
Velký model v běžném počítači
Na lokální AI přitom není nic nového. Rozdíl je ve výkonu a zaměření. Zatímco menší modely jako Gemini Nano nebo Microsoft Phi-4-mini cílí především na jednodušší úlohy, Muse Glimmer je navržený jako takzvaný agentní model. Má tedy nejen odpovídat, ale také plánovat a provádět jednotlivé kroky potřebné k dokončení úkolu.
Model se 30 miliardami parametrů by běžně vyžadoval více než 55 GB paměti. Meta využívá 4bitovou kvantizaci, která velikost stlačuje pod hranici 20 GB. Výsledkem je model, který podle společnosti může běžet na Macu nebo PC s jedinou spotřebitelskou grafickou kartou.
AI, která se nezastaví
Muse Glimmer dokáže psát a opravovat kód, pracovat s nástroji a řešit vícekrokové úkoly od začátku až do konce. Zajímavá je především schopnost reagovat na chyby. Pokud během práce narazí na problém, může jej analyzovat, pokusit se najít příčinu a úkol zopakovat místo toho, aby jednoduše skončil.
Fotogalerie
Model byl navíc trénován na datech pokrývajících více než 100 jazyků a umí měnit intenzitu svého uvažování podle požadované rychlosti a kvality výsledku.
Muse Glimmer navíc využívá techniku zvanou speculative decoding, při níž menší pomocný model předpovídá možné další tokeny. Hlavní model pak tyto návrhy rychle přijímá, nebo odmítá. Výsledkem má být svižnější odezva i při náročnějších úlohách. Právě kombinace lokálního běhu, agentických schopností a relativně vysokého výkonu tak může z Muse Glimmer udělat zajímavou alternativu ke cloudovým AI službám.
Muse Glimmer je už nyní dostupný na Hugging Face. Podpora nástrojů Ollama, LM Studio, Unsloth, llama.cpp, ExecuTorch a MLX má následovat. Pro uživatele to znamená další krok směrem k AI, která není pouze chatbotem v prohlížeči, ale může pracovat přímo v jejich počítači – a přitom zůstat mimo cloud.
