AI Inference Engineer (all genders)

About the Position

AI Inference Engineer (all genders)

Einsatzort: Karlsruhe, Stuttgart, Leipzig, Frankfurt am Main, Mannheim

Bewerben

Als AI Inference Engineer baust du die technische Grundlage für produktive AI-Systeme in regulierten Umgebungen. Du entwickelst und betreibst LLM-Inferenzplattformen, die on-premises oder in privaten Cloud-Umgebungen laufen – sicher, skalierbar, beobachtbar und wirtschaftlich.

Du sorgst dafür, dass moderne Modelle nicht nur in einer Demo überzeugen, sondern unter realen Produktionsbedingungen zuverlässig funktionieren: mit sauberer GPU-Planung, niedriger Latenz, kontrollierten Kosten, belastbarem Monitoring und klar definierten Betriebsmodellen.

---

Responsibilities

• Du konzipierst, entwickelst und betreibst produktive LLM-Inferenzplattformen für Kunden mit hohen Anforderungen an Datensouveränität, Sicherheit und Betriebskontrolle – on-premises, in privaten Cloud-Umgebungen oder souveränen europäischen Cloud-Setups.
• Gemeinsam mit Cloud-, Plattform-, Security- und Data-Engineering-Teams sowie unseren Kunden überführst du AI-Use-Cases in den produktiven Betrieb.
• Dabei integrierst du moderne Inferenz-Engines und Open-Weights-Modelle in Kubernetes-, Container- und Plattformumgebungen.
• Außerdem planst und optimierst du GPU- und Speicherressourcen sowie Inferenz-Workloads: Von Modellgrößen, Quantisierung und Batching bis hin zu KV-Cache-Strategien, Latenz, Durchsatz und Kosten.
• Du verantwortest die Runtime produktiver AI-Systeme, inklusive Modellserving, APIs, Authentifizierung, Secrets, Observability, Logging
• Aus Kundenprojekten entwickelst du wiederverwendbare Referenzarchitekturen, Deployment-Templates und Betriebs-Playbooks und stärkst so unsere Applied-AI-Capability.

---

Requirements

• Persönlicher Background: Erfahrung in Platform Engineering, Cloud Infrastructure, MLOps, LLMOps, DevOps, Backend Engineering oder Machine Learning Engineering. Entscheidend ist deine Erfahrung im Aufbau und Betrieb produktiver Systeme und dein Antrieb zu schneller persönlicher Weiterentwicklung
• Inference Engineering: Du verstehst die technischen und wirtschaftlichen Zusammenhänge moderner LLM-Inferenz, von Model-Serving und GPU-Auslastung über Quantisierung, Batching und KV-Cache-Management bis hin zu Latenz, Durchsatz und Kosten.
• Cloud & Plattformen: Docker, Kubernetes, Helm, Terraform, CI/CD, Linux sowie Observability gehören für dich zum Arbeitsalltag.
• AI-Verständnis: Du kannst Transformer-basierte Modelle wie LLMs und Embeddings einordnen und fundierte technische Entscheidungen für produktive AI-Systeme treffen.
• Security & Governance: Themen wie Identitäten, Berechtigungen, Secrets, Logging, Auditierung und Compliance denkst du, insbesondere in regulierten Umgebungen, von Anfang an mit.
• Kommunikation & Arbeitsweise: Du vermittelst komplexe technische Zusammenhänge verständlich, arbeitest pragmatisch und bewegst dich auch in dynamischen Projektumfeldern sicher.
• Pluspunkt: Erfahrung mit vLLM, SGLang oder vergleichbaren Inference-Technologien, GPU-Clustern, souveränen Cloud- oder Private-Cloud-Umgebungen.
• On the road: Du bist reisebereit und flexibel, unsere Kunden bundesweit vor Ort zu beraten.
• Let's talk: Du sprichst fließend Deutsch und Englisch - super, dann findest du dich bei Exxeta bestens zurecht

---

We Offer

• Workshops & Mentoring: Gemeinsam entwickeln wir uns weiter
• Bis zu 1200 Euro Zuschuss für deine Brille, Zähne oder Massage
• Sportlich unterwegs: Wir bezuschussen dein (E-)Bike
• Kaffee, Tee, Cola, Obst – geht aufs Haus
• Ob Büro, Remote oder bei Kunden vor Ort? Deine Arbeitsweise gestaltet sich nach Kundenbedarf und Projektanforderung
• Bei uns normal: 30 Tage Urlaub und dein Sabbatical
• Unsere Erfolge feiern wir am liebsten als Team
• Bei uns arbeitest du mit moderner Hardware. Extra Hardware leasen? Kein Problem

---

About the Company

Bei Exxeta entwickeln wir digitale Lösungen, die wirklich etwas verändern – in Unternehmen, Märkten und Köpfen. Über 1200 Kolleg:innen bringen dafür Technologie, Ideen und unterschiedliche Perspektiven zusammen. Was uns antreibt: Neugier, Teamspirit und der Anspruch, echten Impact zu schaffen. Hightech with a heartbeat eben.

Wir sind ein Zuhause für Menschen, die etwas bewegen wollen. Diversität und unterschiedliche Perspektiven bereichern unser Team. Haltung, Ideen und Lust aufs Machen - das zählt bei uns!

Bewirb dich jetzt!

#exxeta

---

Application Process

Welche Schritte sind zu beachten, um sich zu bewerben?

1. Finde die passende Stelle: Lade alle wichtigen Dokumente hoch. Unser Recruiting-Team schaut dann, ob es auch von unserer Seite ein Match werden könnte.
2. Dokumente einreichen: Das Übliche: deinen Lebenslauf und die wichtigsten Zeugnisse. Einfach alles, was kurz und knackig zeigt, wer du bist und warum es fachlich und menschlich passen wird. Ein Anschreiben ist nicht unbedingt erforderlich, du kannst uns natürlich trotzdem gerne ein paar charmante Worte in einem Anschreiben mitgeben, also zum Beispiel, was dich an Exxeta reizt und warum du glaubst, dass wir gut zueinander passen.
3. Kontakt: Ganz ohne geht es leider nicht – aber gerne digital. Schreib uns, wir melden uns spätestens nach zwei Wochen bei dir.
4. Gespräch: Es geht doch nichts über ein persönliches Gespräch. Je nachdem, wie es dir passt: bei uns im Office oder per Video.
5. Challenge: Wir verstehen uns – super! In einigen Bereichen haben wir noch eine kleine Challenge für dich. Sei gespannt.
6. Let’s talk: Aber diesmal Business. Konkret: Welche Tasks und Zahlen stehen in deinem Vertrag?
7. Willkommen: Bienvenidos, hartelijk welkom – schön, dass du da bist. Direkt ans Onboarding oder erstmal einen Welcome-Drink?

---

Data Privacy

Zunächst: Deine personenbezogenen Daten sind bei uns in guten Händen, zu 100 Prozent sicher und werden im Rahmen des Bewerbungsprozesses gemäß DSGVO verarbeitet und streng vertraulich behandelt. Einzelheiten zum Datenschutz bei Exxeta findest du auch in unserer Datenschutzerklärung. Sollte es nicht dazu kommen, dass wir zusammenarbeiten, werden deine Daten automatisch sechs Monate nach deiner Bewerbung gelöscht.

---

Initiative Application

Kann ich euch auch eine Initiativbewerbung schicken?

Aber sowas von gerne! Schließlich ist Eigeninitiative genau das, was wir an unseren (zukünftigen) Mitarbeitenden bei Exxeta schätzen. Über unsere im Exxeta Stellenportal ausgeschriebenen Initiativbewerbungsstellen für Festangestellte und Studierende kannst du uns mitteilen, in welchem Bereich, ab wann und an welchem Standort du gerne mitarbeiten möchtest. Und natürlich auch, welche Zahlen auf deinem Konto du dir vorstellst. Wir freuen uns schon jetzt darauf, dich kennenzulernen!