Chatbot/AI-Application Tester (w/m/d)

Bei uns zu arbeiten, bedeutet, an die Zukunft zu glauben; an die großartigen Menschen, die sie jeden Tag gemeinsam gestalten und an die verschiedensten Karrieremöglichkeiten, die sich damit eröffnen. #glaubandich

Die Erste Bank Oesterreich ist eines der führenden heimischen Geldinstitute. Als Teil der international tätigen Erste Group sind wir eine attraktive Arbeitgeberin, die ihren Mitarbeiter:innen interessante Karrierechancen eröffnet.

Der Bereich Digital Platforms ist verantwortlich für die Weiterentwicklung und den Betrieb der digitalen Kanäle George, George Business, Advisorapplications und diverse interne Web-Anwendungen. Aktuell suchen wir für unser dynamisches und offenes George Österreich Team eine:n Chatbot/AI-Application Tester:in für das George Österreich Quality Assurance Team, der/die mit technischer Expertise und analytischem Weitblick zur Qualitätssicherung unserer AI-gestützten Anwendungen und Chatbots beiträgt.

Deine Tasks

• Testen und Qualitätssicherung: Selbstständiges Testen von LLM-Chatbots, Flow-Chatbots und AI-gestützten Anwendungen in unseren digitalen Kanälen wie George/George Business (Web, iOS, Android & Huawei)
• Durchführung von GPT-Grading/Testing: Validierung und Bewertung der Leistung von LLM-gestützten Chatbots, einschließlich Überprüfung von Genauigkeit, Relevanz und Benutzerfreundlichkeit
• Testdesign und Abnahmetests: Erstellung und laufende Erweiterung eines Testkatalogs sowie Durchführung von User Acceptance Tests (UAT) und Analyse von AI-Leistungsmetriken
• Adversarial Testing und Datenanalyse: Überprüfung der Robustheit unserer AI-Applikationen gegenüber unerwarteten Eingaben oder Angriffen (Prompt Injections) sowie Analyse von Test- und Nutzungsdaten zur Identifikation von Schwachstellen in Datenpipelines oder Modellen
• Zusammenarbeit und Dokumentation: Enge Abstimmung mit Product Ownern, IT-Teams und zentralen Testteams zur Bewertung von Testergebnissen und Kritikalität von Fehlern sowie Einmeldung und Dokumentation von Bugs in Jira mit Empfehlungen zur Optimierung der Systeme
• Unterstützung bei Deployments: Durchführung von Smoke-Tests und Validierung neuer AI-Funktionen im Produktivsystem

Dein Background

• Technische Expertise: Grundlegendes Verständnis von Large Language Modellen, der Funktionsweise von AI-Applikationen und Chatbots sowie Erfahrung mit Testautomatisierung und Skripterstellung
• Testing-Know-how: Vertrautheit mit QA-Tools und Testmanagementsystemen wie Jira, Cypress, TestRail oder Selenium sowie praktische Erfahrung im Testen und Validieren von LLM- und Flow-Chatbots
• Analytische Fähigkeiten: Fähigkeit zur Identifikation von Schwächen in Applikationen und zur Entwicklung gezielter Verbesserungsmaßnahmen
• Kommunikation & Zusammenarbeit: Klare und strukturierte Dokumentation sowie Präsentation von Testergebnissen und Empfehlungen, sicheres Arbeiten in funktionsübergreifenden Teams mit Entwicklern, Data Scientists und Produktmanagern
• Wünschenswerte Eigenschaften: Qualitätsbewusstsein, Liebe zum Detail, Eigenantrieb, Flexibilität, Freude an teamorientierter Zusammenarbeit sowie Interesse an Conversational Interfaces, Chatbots und AI-Anwendungen

Unser Angebot

• Modernes Arbeitsumfeld: Flexible Arbeitszeiten und eine offene, innovationsfreundliche Unternehmenskultur.
• Attraktive Benefits: Vielfältige Weiterbildungs- und Entwicklungsmöglichkeiten sowie umfangreiche Sozialleistungen und ein attraktives Gehaltspaket.
• Chancengleichheit: Unsere Unternehmenskultur schätzt Vielfalt und fördert Gleichberechtigung.
• Weiterbildung und persönliche Entwicklung: Vielfältige Möglichkeiten zur Weiterbildung und persönlichen Entwicklung
• Entdecke die zusätzlichen Benefits der Erste Bank
• Das Mindestentgelt für diese Vollzeitposition (38,5h) nach dem geltenden Kollektivvertrag beträgt 48.323,1 Euro brutto pro Jahr bei vollständiger Erfüllung des Funktionsprofils. Aber das ist nur eine Formalität - über dein tatsächliches Gehalt sprechen wir gerne persönlich!
• Wir bieten unseren Mitarbeiter:innen individuelle Homeoffice-Lösungen. 
• Wir sehen in der Diversität unserer Mitarbeiter:innen einen Schlüssel für Innovation und Exzellenz. Als Arbeitgeberin sind wir stolz darauf, allen die gleichen Chancen zu bieten, unabhängig von Alter, Hautfarbe, Religion, Geschlecht, sexueller Orientierung oder Herkunft.