Data Engineer, Data for AI/ML

Job Requisition ID #

25WD90010

25WD90010, Data Engineer, Data for AI/ML 

French translation to follow!/Traduction française à suivre!
 

Position Overview

Autodesk seeks a strong principal engineer and technical leader within the Data Acquisition team, designated with designing new robust and resilient data pipelines for analytical abstracts, enrichment, and metadata about design content. These datasets form the basis for data selection and understanding for various AI/ML projects at Autodesk.

This role collaborates with Product Managers, Program/Project managers, Analysts, Platform Architecture, and the Engineering Team to ensure data pipelines and delivery uses modern, scalable, reliable methods. Communication skills are critical, and you must be comfortable distilling complex technical information to a non-technical audience as a technical leader.

We work with a group of highly collaborative individuals who are excited to solve challenges, and implement cloud based, resilient, available, reliable solutions. We are comfortable with several languages and paradigms and aim to choose the technology which is most appropriate for the task. We endeavor to automate our tests and deployments end to end. We seek to mitigate existing issues and balance tech debt with the delivery of value to Autodesk. If you can identify with these traits, we are looking forward to working with you.

Responsibilities

• Designing, architecting, solutioning, and implementing data pipelines for enterprise consumption

• Mapping and automating data flows, from multiple sources

• Develop workflows to run Apache Spark applications using Airflow and AWS EMR; may also work on Snowflake applications using Airflow and dbt

• Deploy solutions via automated CI/CD processes to execute data pipelines running in batch

• Developing, executing, and documenting software solutions to address complex data collection, processing, transformation, and reporting issues

• Interpreting and translating business needs into technical requirements

• Troubleshooting code level problems quickly and efficiently as needed

• Participating in code and document reviews

Minimum Qualifications

• Strong experience in several of the following:

  • Python / PySpark

  • Spark / Spark SQL

  • Apache Iceberg/Airflow (Astronomer is a plus)

  • Amazon EMR, Lambda, S3

  • Snowflake / Snowflake SQL

  • dbt

  • Fivetran

  • Hive

  • Hadoop

• Extensive experience with a strong focus across layers of data engineering and pipelines

• Strong experience in distributed and cloud architecture patterns

• Ability to provide detailed architecture artifacts (L1 / L2 diagrams, sequence diagrams, etc.)

• Firm understanding of programming paradigms, their usage, as well as data structures

• Effective communication and collaboration skills, understanding how to tailor your message to your audience

• Ability to fully develop a feature across all data and/or application layers from inception

• Experience building and deploying data applications with AWS

• Experience implementing CI/CD and familiarity TDD/BDD. Preferably concrete examples of each

• Strong experience designing and using data lakes and data warehouses

• Powerful sense of ownership with a bias for action when challenges arise

• Ability to work independently and collaboratively across an organization.

• Desire to create, investigate and follow best practices

• Familiarity with AI/Machine Learning workflows and technologies is a plus

• Eagerness to learn and share knowledge with a good attitude

______________________________________________________________________________________________________________

25WD90010 Ingénieur données, données pour l'IA/ML

Aperçu du poste

Autodesk recherche un ingénieur principal et un responsable technique chevronné au sein de l'équipe Acquisition de données, chargé de concevoir de nouveaux pipelines de données robustes et résilients pour les résumés analytiques, l'enrichissement et les métadonnées relatives au contenu de conception. Ces ensembles de données constituent la base de la sélection et de la compréhension des données pour divers projets d'IA/ML chez Autodesk.

Le titulaire de ce poste collabore avec les chefs de produit, les chefs de programme/projet, les analystes, l'équipe d'architecture de la plateforme et l'équipe d'ingénierie afin de garantir que les pipelines de données et la livraison utilisent des méthodes modernes, évolutives et fiables. Les compétences en communication sont essentielles et vous devez être à l'aise pour synthétiser des informations techniques complexes à l'intention d'un public non technique en tant que responsable technique.

Nous travaillons avec un groupe de personnes très collaboratives qui sont enthousiastes à l'idée de relever des défis et de mettre en œuvre des solutions basées sur le cloud, résilientes, disponibles et fiables. Nous maîtrisons plusieurs langages et paradigmes et nous nous efforçons de choisir la technologie la plus appropriée à la tâche à accomplir. Nous nous efforçons d'automatiser nos tests et nos déploiements de bout en bout. Nous cherchons à atténuer les problèmes existants et à équilibrer la dette technologique avec la valeur apportée à Autodesk. Si vous vous reconnaissez dans ces caractéristiques, nous serions ravis de travailler avec vous.

Responsabilités

• Conception, architecture, résolution et mise en œuvre de pipelines de données pour une utilisation en entreprise

• Cartographier et automatiser les flux de données provenant de plusieurs sources

• Développer des workflows pour exécuter des applications Apache Spark à l'aide d'Airflow et d'AWS EMR ; peut également travailler sur des applications Snowflake à l'aide d'Airflow et de dbt

• Déployer des solutions via des processus CI/CD automatisés pour exécuter des pipelines de données fonctionnant par lots

• Développer, exécuter et documenter des solutions logicielles pour répondre à des problèmes complexes de collecte, de traitement, de transformation et de reporting de données

• Interpréter et traduire les besoins commerciaux en exigences techniques

• Dépannage rapide et efficace des problèmes au niveau du code, selon les besoins

• Participation à la révision du code et des documents

Qualifications minimales

• Solide expérience dans plusieurs des domaines suivants :

  • Python / PySpark

  • Spark / Spark SQL

  • Apache Iceberg/Airflow (Astronomer est un plus)

  • Amazon EMR, Lambda, S3

  • Snowflake / Snowflake SQL

  • dbt

  • Fivetran

  • Hive

  • Hadoop

• Vaste expérience avec une forte concentration sur les différentes couches de l'ingénierie des données et des pipelines

• Solide expérience des modèles d'architecture distribuée et cloud

• Capacité à fournir des artefacts d'architecture détaillés (diagrammes L1 / L2, diagrammes de séquence, etc.)

• Compréhension approfondie des paradigmes de programmation, de leur utilisation et des structures de données

• Compétences en communication et en collaboration efficaces, compréhension de la manière d'adapter votre message à votre public

• Capacité à développer entièrement une fonctionnalité sur toutes les couches de données et/ou d'applications, depuis sa conception

• Expérience dans la création et le déploiement d'applications de données avec AWS

• Expérience dans la mise en œuvre de CI/CD et bonne connaissance de TDD/BDD. De préférence, exemples concrets de chacun

• Solide expérience dans la conception et l'utilisation de lacs de données et d'entrepôts de données

• Fort sens des responsabilités et goût pour l'action face aux défis

• Capacité à travailler de manière autonome et collaborative au sein d'une organisation.

• Envie de créer, d'étudier et de suivre les meilleures pratiques

• La connaissance des workflows et des technologies d'IA/Machine Learning est un plus

• Envie d'apprendre et de partager ses connaissances avec une bonne attitude

Learn More / Plus d'information

About Autodesk / À propos d’Autodesk

Welcome to Autodesk! Amazing things are created every day with our software – from the greenest buildings and cleanest cars to the smartest factories and biggest hit movies. We help innovators turn their ideas into reality, transforming not only how things are made, but what can be made.

We take great pride in our culture here at Autodesk – it’s at the core of everything we do. Our culture guides the way we work and treat each other, informs how we connect with customers and partners, and defines how we show up in the world.

When you’re an Autodesker, you can do meaningful work that helps build a better world designed and made for all. Ready to shape the world and your future? Join us!

Bienvenue chez Autodesk ! Nos logiciels créent chaque jour des choses extraordinaires : des bâtiments les plus écologiques aux voitures les plus propres, en passant par les usines les plus intelligentes et les films à succès. Nous aidons les innovateurs à concrétiser leurs idées, transformant non seulement la façon dont les choses sont fabriquées, mais aussi ce qui peut l’être. Nous sommes très fiers de notre culture chez Autodesk ; elle est au cœur de tout ce que nous faisons. Notre culture guide notre façon de travailler et de nous comporter les uns envers les autres, influence nos interactions avec nos clients et nos partenaires, et définit notre image au monde. En tant qu’Autodeskien, vous pouvez accomplir un travail significatif qui contribue à bâtir un monde meilleur, conçu et réalisé pour tous. Prêt à façonner le monde et votre avenir ? Rejoignez-nous !

Salary transparency / Transparence salariale

Salary is one part of Autodesk’s competitive compensation package. Offers are based on the candidate’s experience and geographic location. In addition to base salaries, our compensation package may include annual cash bonuses, commissions for sales roles, stock grants, and a comprehensive benefits package.

Le salaire est l'un des éléments du programme de rémunération concurrentiel d'Autodesk. Pour les postes basés au Canada (Colombie-Britannique), nous proposons un salaire de base compris entre X et X dollars. Les offres sont basées sur l'expérience et la situation géographique du candidat et peuvent dépasser cette fourchette. En plus du salaire de base, notre programme de rémunération peut inclure des primes annuelles en espèces, des commissions pour les postes commerciaux, des attributions d'actions et un ensemble complet d'avantages sociaux.

Diversity & Belonging / Diversité et appurtenance

We take pride in cultivating a culture of belonging where everyone can thrive. Learn more here: https://www.autodesk.com/company/diversity-and-belonging

Nous sommes fiers de cultiver une culture d’appartenance où chacun peut s’épanouir. Pour en savoir plus, cliquez ici : https://www.autodesk.com/company/diversity-and-belonging

Are you an existing contractor or consultant with Autodesk?

Êtes-vous un sous-traitant ou un consultant existant d’Autodesk ?

Please search for open jobs and apply internally (not on this external site).

Veuillez rechercher des emplois vacants et postuler à l’interne (pas sur ce site externe).