Deine Mission

Du baust mit uns eine standardisierte Testing-Umgebung für unsere AI-Lösung auf – damit unser System zuverlässig, nachvollziehbar und messbar das tut, was es soll. Du arbeitest eng mit dem Engineering- und Product-Team zusammen und wirst dabei vom AI Engineering Lead begleitet.

Aufgaben

Deine Aufgaben

• Testing-Infrastruktur mitgestalten – Aufbau und Pflege unserer Testumgebung für AI-Agenten (u. a. mit PyTest und OpenTelemetry)
• Modell-Unternehmen entwickeln – realistische Beispiel-Unternehmen in unserer Datenbank (PostgreSQL) anlegen, die echte Kundensituationen widerspiegeln und belastbare Testszenarien ermöglichen
• Qualitätssicherung – gewünschtes und ungewünschtes Systemverhalten unserer AI-Agenten (LangGraph / LangChain) und RAG-Pipeline (Weaviate) systematisch aufdecken und nachvollziehbar machen
• Evaluation Suite aufbauen – erwartetes Systemverhalten gemeinsam mit dem Product-Team definieren und in automatisierte Tests umsetzen – inkl. Vergleich verschiedener LLM-Anbieter und Modelle

Qualifikation

Das bringst du mit

Must-haves:

• Laufendes Studium (z. B. AI/ML, Informatik, Kognitionswissenschaften o. Ä.)
• Grundlegende Programmierkenntnisse – du kannst Code lesen und verstehen
• Grundverständnis von generativer KI (LLMs, Prompting, typische Stärken und Schwächen)
• Strukturiertes, analytisches Denken
• Sehr gute Englischkenntnisse (Arbeitssprache); gute Deutschkenntnisse von Vorteil

Nice-to-have:

• Erste Erfahrung mit Python und/oder Testing-Frameworks
• Interesse an oder Erfahrung mit RAG-Systemen, Prompt Engineering oder LLM-Evaluation

Benefits

Was dich bei uns erwartet

• Echte Ownership – deine Tests haben direkten Einfluss auf die Produktqualität
• Lernen im Team – du arbeitest direkt mit Product und Engineering zusammen und wirst vom AI Engineering Lead begleitet
• Internationales Umfeld – ein Team mit Eigenverantwortung und AI-First-Mindset
• Flexibilität – 20 h/Woche, frei einteilbar, remote-friendly
• Perspektive – Möglichkeit, deine Abschlussarbeit thematisch an deine Arbeit bei uns anzuknüpfen, und Chance, mit uns zu wachsen

Schick uns deinen Lebenslauf und ein paar Sätze dazu, warum dich AI-Testing interessiert. Optional: Projekte oder Code-Beispiele.

Find Jobs in Germany on Arbeitnow