About the Position

Senior AI Engineer – Sovereign AI, selbst betriebene LLMs, vLLM, Kubernetes

Sankt Leon-Rot, Deutschland

Nur Remote

About Me

Sovereign AI: LLMs on-premises auf eigenen GPUs (vLLM, SGLang), nach BITBW-Standards (IT Baden-Württemberg) gehärtet. Erfahrung in regulierten Umfeldern: Justiz, Bundesverwaltung, Finanzsektor, Verteidigung. Ab sofort in Vollzeit verfügbar, remote.

Skills

RAG
LangChain
Open WebUI
Ollama
Kubernetes
Helm
ArgoCD
RAG
LangChain
pgVector
Milvus
Weaviate
Qdrant
Vektordatenbanken
Oracle Fusion Middleware
Mistral
Scaleway
Large Language Models
LoRa
Vector Databases
QDrant
pgVector
RAG
Agentic RAG
CrewAI
Swarm
DSPy
Letta
LangChain
Haystack
Llama Index
LLama
OpenAI
GPT 4o
Multi-Modal AI
LongVU
ARIA
PyTorch
UltraLytics
Yolo
Fullstack NextJS shadcn Typescript

Experience

Data Architect & Senior AI Consultant

Lufthansa Technik AG

Transport und Logistik

Technisches Consulting Greenfield-Entwicklung für AVIATAR 2.0
Technische Konzeption Data Pipelines & Daten Architektur im Datalake (DataVerse)
Konzeption Data Lake Zones, Data Governance, Data Retention & Recovery-Strategien
Engine Zusammenarbeit mit Data Architecture & Platform-Team zwecks Scaling & Konzeption Infrastruktur
Enge Zusammenarbeit mit Stakeholdern in gesamt LHT + Anforderungsmanagement
Hands-On-Entwicklung Data Pipelines in Spark Structured Streaming & DataBricks
PoCs für Graph-Links & Realtime Analytics
Bereitstellung Daten für AI & ML-Projekte (Predictive Analytics)
Technische Konzeption anhand Anforderung: Near-Realtime Pipelines

AI Engineer (über VISION Consulting) – Maschinelle Übersetzungsplattform der Justiz (MUEP)

Bund-Länder-Projekt (BMJV), Justiz

Öffentlicher Dienst

Übersetzung mehrsprachiger Dokumente und Scans für die Justiz; die Modelle laufen on-premises auf GPU-Hardware des Betreibers.
Selbst betriebene Modelle produktiv: Produktion auf 8× NVIDIA H100 unter OpenShift, Entwicklung auf 2× A10; GPU-Sizing sowie Inferenz-Tuning mit vLLM und CTranslate2 selbst durchgeführt
KI-Pipeline in Python: OCR mit PaddleOCR-VL und Docling, Übersetzung mit MADLAD, LLM-gestützte Prüfung mit Gemma, Layout-Rekonstruktion und Export
Deployment und Härtung: Helm-Charts und Offline-Modellartefakte erstellt, Auslieferung per CI/CD und ArgoCD; Container nach BITBW-Standards gehärtet
Betrieb und Tests: Monitoring mit OpenTelemetry, Prometheus und Grafana; reproduzierbare Benchmarks und Regressionstests gegen verifizierte Referenzdaten, inklusive GPU-Speicherbedarf und Laufzeit

AI Architecture Consultant (über VISION Consulting) – LLM-Plattform DAkkS-GPT

DAkkS (Deutsche Akkreditierungsstelle)

Öffentlicher Dienst

Zielarchitektur mit Fokus auf Datensouveränität: Modellrouting über LiteLLM, Chat-Oberfläche Open WebUI, vLLM und Ollama erprobt und bewertet; RAG-Bausteine und Monitoring eingeordnet
Inferenz-Server: SGLang gegen vLLM evaluiert, jeweils mit LiteLLM als Modellrouter
Mistral-Nemo über die Scaleway-API angebunden (in der LiteLLM-Konfiguration hinterlegt); Mistral wird nur per API genutzt, nicht selbst betrieben
Sicherheit: Plattform nach BITBW-Standards gehärtet; Guardrails-Prototyp gegen Prompt-Injection gebaut
Betriebskonzept: Hosting-Varianten von Cloud-API bis Self-Hosting in Fünfjahres-TCO-Szenarien verglichen, inklusive Datensouveränität; Grundlage für die Beschaffung

AI Consultant und Solution Architect (über play TRACKS GmbH)

ARD/ORF

Medien und Verlage

RAG in Produktion: Konzeption + Umsetzung RAG-Architektur mit LangChain + pgVector (OpenAI Embeddings); Evaluation von Milvus, Weaviate und Qdrant
Backend-API mit FastAPI für RAG-basierte semantische Suche nach Videoinhalten (KI-Redaktionstool AIDitor)
Video-Metadaten-Pipeline (Detector, Tracker, Frame-Extraktion + Analyse), Pre-Classifier mit GPT4o Vision + AWS Rekognition
Fine-Tune Yolo Detector (YOLOv10), Transkription mit WhisperX, Long-Form Video Understanding mit LongVU
OCR mit GPT4 Vision, Inhaltsfilter mit AWS Rekognition, Voice-Over mit Google Text-To-Speech

Requirements

Experience: Mehr als 10 Jahre Berufserfahrung
Languages: Deutsch (Muttersprache), Englisch (verhandlungssicher)
Education: Bachelor

We Offer

Remote Work: Nur Remote
Position Type: Vollzeit

About the Company

[Company description if present]

Contact

Einloggen & anfragen.

Das Kontaktformular ist nur für eingeloggte Nutzer verfügbar.

Registrieren | Anmelden

Senior AI Engineer – Sovereign AI, selbst betriebene LLMs, vLLM, Kubernetes

Job description