Ant Group, het bedrijf achter Alipay, geeft AI-model Ling-3.1-flash vrij. Iedereen kan het downloaden en zelf draaien, met tot 1 miljoen tokens context.
Serverkasten in een datacenter (archiefbeeld). Foto: Carl Lender / Wikimedia Commons (CC BY 2.0)
Ant Group heeft zijn AI-model Ling-3.1-flash vrijgegeven als open source. Dat maakte het AI-team van het bedrijf op 15 oktober bekend. Iedereen kan het model nu downloaden via Hugging Face en het Chinese platform ModelScope, en het op eigen computers draaien. Ant Group is het bedrijf achter de betaalapp Alipay en is verbonden aan Alibaba.
Groot model, klein deel tegelijk aan het werk
Ling-3.1-flash heeft in totaal ongeveer 560 miljard parameters. Dat zijn de rekenwaarden die een AI-model tijdens het leren afstelt. Per woorddeel (token) gebruikt het model er maar ongeveer 25 miljard. Zo'n opbouw maakt een groot model sneller en goedkoper in gebruik. Volgens IT Home schrijft het model ongeveer 210 tokens per seconde.
Het model kan tot 1 miljoen tokens tegelijk verwerken. Daarmee kan het in één keer heel lange documenten of grote stukken code lezen. Ant Group richt het model vooral op AI-agents: programma's die zelf taken uitvoeren. Denk aan zoeken, kantoorwerk en programmeren. Het model kan ook beter samenwerken met andere software, doordat het nauwkeuriger opdrachten aan andere programma's doorgeeft.
Ant Group kondigde het model eind september al aan. Toen was het alleen online te proberen. Nu zijn ook de bestanden van het model zelf beschikbaar.
Minder zware computers nodig
Wie het model zelf wil draaien, heeft nog altijd een flinke server nodig. Ant Group heeft het model wel kleiner gemaakt met een techniek die de getallen in het model compacter opslaat. De bestanden gaan daardoor van ongeveer 534 naar 292 gigabyte. In een test van het bedrijf zijn daardoor vier krachtige Nvidia-videokaarten genoeg in plaats van acht. Hoeveel je echt nodig hebt, hangt af van hoe je het model gebruikt.
Wie geen eigen server heeft, kan het model ook online gebruiken via de dienst OpenRouter. Daar kost het tijdelijk 0,075 dollar per miljoen tokens invoer en 0,225 dollar per miljoen tokens uitvoer. Dat is omgerekend ongeveer 6 en 19 eurocent.
Wat betekent dit voor Nederland?
Met Ling-3.1-flash komt er weer een groot Chinees AI-model bij dat iedereen vrij kan gebruiken. Eerder deden onder meer StepFun met Step 5 en DeepSeek hetzelfde. Voor Nederlandse en Europese bedrijven is dat interessant: wie het model op een eigen server draait, houdt de gegevens zelf in handen. Ze gaan dan niet naar een Chinese dienst. Gebruik je de online versie, kijk dan goed waar je gegevens terechtkomen. Lees daarover ook ons stuk over de veiligheid van DeepSeek.
Dit artikel is met hulp van AI geschreven op basis van openbare bronnen. Eindverantwoordelijk: Danny Visser. Fout gezien? Meld het.
