Senior AI Inference Engineer Amstelveen of Eindhoven

Senior AI Inference EngineerLocatie:1-2 dagen per week op locatie Amstelveen / Eindhoven HQ. Flexibiliteit wordt van de kandidaat verwacht.Sovereign AI | TechHub Benelux NordicsBouw mee aan de toekomst van veilige en onafhankelijke AIJouw rolAls Senior AI Inference Engineer speel je een belangrijke rol in de ontwikkeling van een veilig, onafhankelijk en schaalbaar AI-platform. Je zorgt ervoor dat AI-modellen efficiënt, betrouwbaar en op de juiste schaal draaien, ook voor bedrijfskritische toepassingen waarbij prestaties, veiligheid en controle essentieel zijn.Samen met de Product Manager, Product Owner en andere AI-engineers werk je aan de verdere ontwikkeling van het platform. Je maakt deel uit van een zelfstandig Scrum-team waarin ruimte is voor technische diepgang, eigen initiatief en samenwerking.Je krijgt de vrijheid en verantwoordelijkheid om belangrijke technische keuzes te maken. Welke modellen zijn geschikt? Welke hardware is nodig? Hoe optimaliseer je prestaties en capaciteit? Jij onderzoekt de mogelijkheden, onderbouwt beslissingen met meetbare resultaten en vertaalt technische inzichten naar praktische oplossingen.Daarbij kijk je verder dan alleen de techniek. Je denkt mee over de kwaliteit, schaalbaarheid en betrouwbaarheid van het platform en zoekt continu naar de juiste balans tussen innovatie, performance en time-to-market.Wat ga je doen?AI-prestaties optimaliseren: Je voert schaaltests uit op een node met acht H200-GPU's en vergelijkt servingstrategieën, waaronder tensor parallelism en replica's met cache-aware routing via llm-d.Capaciteit inzichtelijk maken: Je vertaalt benchmarkresultaten naar concrete capaciteitsmodellen voor tokens en requests per minuut per model en per GPU.De modelcatalogus verbeteren: Je ontwikkelt reproduceerbare benchmarks om modellen te vergelijken op prestaties, kwaliteit en hardwarevereisten.Veilige AI ontwikkelen: Je ontwerpt mogelijkheden voor input- en outputfiltering met open-weight modellen die op de eigen infrastructuur draaien.Nieuwe modellen beoordelen: Je onderzoekt licenties, kwantisatie (NVFP4, FP8 en INT8), geheugengebruik en servingconfiguraties.Kennis delen en keuzes vastleggen: Je documenteert architectuurbeslissingen en technische afwegingen via Architecture Decision Records (ADR's).Wat breng je mee?Je bent een ervaren engineer die graag de diepte ingaat, analytisch denkt en energie krijgt van complexe technische uitdagingen. Je combineert hands-on expertise met een pragmatische aanpak en neemt graag verantwoordelijkheid voor oplossingen die in de praktijk het verschil maken.Daarnaast heb je:Ervaring met ML-platformontwikkeling en enterprise AI-inference.Productie-ervaring met LLM-serving op GPU's, bijvoorbeeld met vLLM of een vergelijkbare engine.Kennis van KV-cache, batching, prefix caching en kwantisatie.Inzicht in GPU-infrastructuur en de verschillen tussen NVLink en Ethernet.Een reproduceerbare aanpak voor performancebenchmarking.Praktische kennis van Python en Kubernetes.Goede mondelinge en schriftelijke beheersing van het Engels.Vanwege de soevereiniteitsvereisten is EU-nationaliteit vereist, zonder dubbele nationaliteit.Mooi meegenomenErvaring met KServe, llm-d, AMD ROCm, modelevaluatie, guardrail-modellen of MLflow is een plus. Ook kennis van het Nederlands is welkom.Waarom deze uitdaging?Je werkt aan technologie die verder gaat dan experimenteren: je helpt een AI-platform vormgeven waarop organisaties kunnen vertrouwen voor veeleisende en bedrijfskritische toepassingen.Je krijgt ruimte om zelfstandig technische keuzes te maken, nieuwe oplossingen te onderzoeken en jouw expertise verder te ontwikkelen. Samen met je collega's bouw je aan een platform waarin performance, veiligheid en digitale autonomie samenkomen.Krijg jij energie van het optimaliseren van AI-inference en wil je met jouw technische expertise bijdragen aan betrouwbare, schaalbare AI? Dan maken we graag kennis met je.