Senior Software Engineer II Applied AI and Evaluations

Rejoignez Smartsheet : révolutionnez la gestion du travail avec l’IA

Depuis plus de 20 ans, Smartsheet accompagne les individus et les équipes pour accomplir tout ce qu’ils entreprennent. De la gestion fluide des tâches à des solutions intelligentes et évolutives, nous créons des outils qui libèrent le potentiel des équipes : automatiser les tâches répétitives, révéler des insights précieux et grandir plus intelligemment.

Mais au-delà de la technologie, nous offrons un espace pour penser grand, agir avec impact et réaliser un travail qui a du sens. Car lorsque défi rime avec ambition, et passion avec progrès, c’est là que la magie opère — et c’est ce qui nous motive chaque jour.

Votre mission : garantir l’excellence des agents intelligents Smartsheet

Smartsheet construit la nouvelle génération de gestion du travail propulsée par l’IA grâce à SmartAssist, notre plateforme d’agents intelligents. Alors que nous passons des premiers prototypes à des agents robustes en production, la qualité devient notre priorité absolue.

Nous recherchons un Agent Quality Engineer passionné, prêt à prendre en main cette responsabilité clé. Ce poste n’est pas un simple rôle de QA : c’est une fonction technique avancée, autonome, à la croisée de l’évaluation des grands modèles de langage (LLM), de l’ingénierie des prompts et du contexte, ainsi que de la génération augmentée par récupération d’informations.

Vous analyserez les causes d’échec de nos agents, concevrez des systèmes pour détecter les régressions, et piloterez des améliorations mesurables sur notre orchestrateur et notre flotte de sous-agents.

Ce que vous ferez au quotidien

• Assurer la qualité des agents de bout en bout : diagnostic, amélioration et validation sur SmartAssist et ses sous-agents
• Identifier les modes d’échec selon plusieurs critères : exactitude factuelle, exhaustivité, ton, pertinence des actions, latence, et prioriser les corrections
• Conduire les améliorations qualité via l’ingénierie des prompts et des contextes
• Collaborer étroitement avec les équipes Agent Engineering et AI Platform, intégrées dans une équipe ayant déjà déployé une infrastructure d’évaluation sur Databricks/MLflow
• Contribuer à la maturation du cycle de vie de développement des agents (Agent Development Lifecycle - ADLC)