Van groot naar klein, daar gaat het deze week veel over. Door een LLM naar 1Bit te quantizen kunnen grote taalmodellen op veel kleinere hardware draaien. Er zijn weer veel nieuwe modellen uitgebracht, vooral Mixture of Experts en een hybride variant tussen een klassiek LLM en Mamba, in de vorm van Jamba SSM. Sneller, minder geheugengebruik, dus op kleinere hardware.
Ook interessant is de nieuwe Voice Engine van OpenAI, met slechts 15 seconden kan deze je stem nabootsen. Kans of risico?
