Contexte: Vous êtes directement rattaché(e) à l'un des directeurs des produits et cofondateurs et intégrez l'équipe technique composée actuellement de 5 personnes: 1 backend, 1 frontend, 1 data scientist, 1 ML et 1 Ops.
Vous participez activement au développement du produit de l'entreprise.
Principales missions : - Utiliser des LLM et d'autres modèles de science des données pour comprendre les tâches des agents humains, élaborer une roadmap d'automatisation pour les clients et mesurer la qualité des agents IA
- Développer et affiner les indicateurs de performance dans le cadre du support client (comment mesurer la précision, etc.)
- Être à l'avant-garde du développement des LLM et élaborer des approches innovantes pour mesurer leur qualité
- Concevoir des expériences de « tests AB » dans le cadre des LLM afin d'aider l'entreprise à mesurer et améliorer en permanence les performances des agents IA
- Vos analyses seront partagées avec les clients dans le but de vendre les agents IA, de prioriser les roadmaps avec eux et de démontrer leurs performances
- Synthétiser les conclusions et les recommandations afin de les rendre compréhensibles pour un public non technique
- Créer des rapports et des dashboards standards pour une utilisation interne et externe
Stack: SQL / Python / LLM