Azure Engineer

Opdrachtomschrijving

Data Services is in 2024 begonnen met de implementatie van een nieuwe datacatalogus en metadatamanagement oplossing. Hiervoor gebruiken we de nieuwste versie van Purview Data Governance Solutions (DGS). Afgelopen jaar hebben we met een klein team de oplossing geïnstalleerd, een aantal pilots uitgevoerd, en de juiste stakeholders gemobiliseerd. We zijn nu bezig de eerste databronnen, dataverwerkingssystemen en dataproducten te onboarden in de productieomgeving.

We zoeken een Azure Engineer die het beheer en de automatisering van onze datacatalogus naar een hoger niveau tilt en helpt bij het ontwikkelen van nieuwe functionaliteiten. Je helpt bij het integreren van onze dataopslag en verwerkingssystemen (zoals Fabric, Databricks, Synapse, ADLS2, SQL) met Purview. Je bouwt oplossingen met Python SDKs en Azure services om metadata in bulk te kunnen beheren. Daarnaast help je bij het onttrekken van de metadata uit de catalogus voor het opzetten van dashboards & alerting. Ook willen we de inzet van AI voor het automatisch genereren van beschrijvingen voor objecten in de catalogus onderzoeken. Je werkt richting een visie waarin dataproducten zichzelf publiceren en beheren in een geautomatiseerde datacatalogus.

Functieomschrijving

• Professionaliseren deployment: Helpen bij het verder aanscherpen van de deployment van Purview Data Governance, inclusief gerelateerde resources zoals private endpoints (deployment verloopt via bicep/yaml/deployment stacks)
• API inzetten voor het professionaliseren en automatiseren van beheer: de API (Python SDK) inzetten voor het functionele beheer van de applicatie en het bulk beheer van metadata binnen de applicatie. Waar mogelijk meedenken, ontwerpen en bouwen aan het automatiseren van handmatige beheerstappen. We werken richting een self-service model waar gebruikers dit steeds meer zelf moeten doen.
• Dataopslag- en verwerkingssystemen aansluiten: Helpen bij het aansluiten van de datacatalogus op dataopslag- en verwerkingssystemen (Fabric, Synapse, Databricks, ADLS2, SQL) – hier bestaan standaard connectoren voor en hier hebben we ervaring mee.
• Dashboarding: Onttrekken van metadata uit de datacatalogus om hier dashboards op te bouwen die inzicht geven in de status van de inhoud (e.g. datasets zonder eigenaar).
• Automatisering & alerting: Automatisering / alerting op basis van Events in de datacatalogus (via EventHubs). Eventueel AI inzetten voor automatisch genereren van beschrijvingen van nieuwe assets.
• Documentatie: Bijhouden van implementatiestappen, procedures en best practices, zodat teams in de domeinen op termijn zelfstandig aan het werk kunnen.

Functie eisen

• De kandidaat beschikt over aantoonbare ervaring met Azure Cloud.
• De kandidaat beschikt over aantoonbare ervaring met API's.
• De kandidaat beschikt over aantoonbare ervaring met Python.
• De kandidaat heeft een Bachelor of Master in Informatica, Data Science of een gerelateerd vakgebied.
• De kandidaat beschikt over uitstekende schriftelijke en mondelinge vaardigheden in de Nederlandse taal.
• De kandidaat kan opdrachtreferentie overleggen waarbij de opdrachtgever zijn waardering heeft uitgesproken over een oplossing die de kandidaat gebouwd heeft door gebruik te maken van de API(s) van één of meerdere applicaties.
• De kandidaat is beschikbaar voor een gesprek via Teams tussen 16 en 18 juni.

Functie wensen

• De kandidaat heeft aantoonbare ervaring met Purview Data Governance Solutions.
• De kandidaat heeft minimaal 4 jaar ervaring in een grote complexe datagedreven IT-omgeving met veel afhankelijkheden.
• De kandidaat heeft aantoonbare ervaring met IaC (Bicep, YAML, Deployment stacks).
• De kandidaat heeft ervaring met Data Engineering.
• De kandidaat heeft ervaring met Web Development.
• De kandidaat heeft ervaring met EventHubs.
• De kandidaat beschikt over een relevante Azure certificeringen, het bezit van de gevraagde licenties dient duidelijk uit het ingediende CV te blijken.

Competenties

• Sterke analytische en probleemoplossende vaardigheden.
• Nieuwsgierig en energiek. Zin om zelfstandig op onderzoek te gaan en oplossingen te bedenken.
• Goede communicatieve vaardigheden en teamspeler.
• Vermogen om complexe technische concepten te vertalen naar begrijpelijke taal & toegevoegde waarde voor (business)stakeholders zoals dataeigenaren.
• Een actieve houding en flexibiliteit. Je werkt in een nieuw en klein centraal team van waaruit we de domeinen van de bank ondersteunen bij het onboarden van hun data in de datacatalogus en het beheer daarvan. Dit vereist dat je zelf actief mee kunt denken over waar jij zelf de meeste toegevoegde waarde kunt leveren met de oplossingen die je bouwt.