Inhuur Data Engineer

Opdrachtomschrijving

De opdracht betreft het, implementeren van data pipelines in Python, het (door)ontwikkelen van verschillende Python applicaties en scripts. Dit dient te passen binnen de staande architectuur of de doelarchitectuur op Microsoft Azure en gaat in overleg met de DWH-ontwikkelaars wat de (voornaamste) afnemers zijn van het data lake.

Achtergrond opdracht

De Analyse Proeftuin Migratie (APM) is bezig met het implementeren van een nieuwe informatiestrategie. Een van de onderdelen van deze informatiestrategie is het ontwerpen, implementeren en in productie nemen van het vernieuwde Keten Management Informatie platform (KMI3). KMI3 bestaat uit (o.a.) een data lake, een data warehouse en informatieproducten waar wordt gewerkt met data vanuit de migratieketen (IND, COA, DT&V, etc.). Voor het verwerken en transformeren van aanleverbestanden van onze ketenpartners, maar ook voor het ophalen van data binnen en buiten de keten, wordt Python gebruikt. Daarnaast is het team voorbereidend op een migratie van het platform naar de Microsoft Azure cloud waar Azure Databricks ingezet zal worden voor deze bewerkingen. Voor de belangrijke rol van het (door)ontwikkelen van flexibele data pipelines, het implementeren van data kwaliteitstoetsen en het beheer van de Python scripts en applicaties zoeken wij een data engineer om het team te versterken.

Functie eisen

• 5 jaar ervaring in de laatste 10 als data engineer. 
• 5 jaar ervaring in de laatste 10 met Software Development in Python (3)
• 3 jaar ervaring in de laatste 10 met Object Oriented Programming. 
• 3 jaar ervaring in de laatste 10 met GIT. 
• De kandidaat is de Nederlandse taal, zowel in schrift als gesproken, machtig.