Video & Event creator

Carmen Christiaanse.jpg

large_Snowy road.jpg

medium_Snowy road.jpg

small_Snowy road.jpg

thumbnail_Snowy road.jpg

Snowy road.jpg

**We zijn back on TRACK** 

En we hebben er ontzettend veel zin in: de tweede Virtual Roadtrip staat op de planning! De eerste Virtual Roadtrip was een groot succes. Dus zijn we direct begonnen met het plannen van een te gekke nieuwe trip waarin we je ondersneeuwen door de wereld van DATA. 
  
  **Virtual Roadtrip, wat kun je verwachten?**

- Een hele maand gefocust op de verschillende smaken van data;
- Elke week een sessie, gegeven door één van onze LINKIT engineers;
- Een live Q&A na elke sessie;
- Je krijgt een defrosting kit thuisgestuurd die je kunt gebruiken tijdens de sessie (de inhoud is nog een verrassing).

**Ons thema**

Dit keer vindt de **Virtual Roadtrip | Defrost your Data** plaats in de maand februari. Dat betekent dat het een koude en winterse maand is. Stel je voor: een winters landschap (ik weet het, dat is lastig in Nederland, maar probeer het je voor te stellen), warme chocolademelk om je op te warmen, het volgen van de roadtrip op je laptop voor de open haard & stap zo in onze virtuele sleetocht. Ben je enthousiast geworden? Lees dan snel verder om meer te weten te komen over de inhoud van de roadtrip. Mensen, let’s DEFROST your DATA!  

-Note: De sessies worden gegeven in het Engels, daarom staat onderstaande informatie ook in het Engels.-

**#1/2 Topic: Design High Load Systems with Apache Ignite**  

*Kennon Rodrigues, Principal Data Engineer*  
*& Wenderson Ferreira de Souza, Data Engineer*  
*Two sessions in a sequence.*

Multiprocessor devices are becoming ubiquitous; currently, the device in your hand potentially has four or more cores. The increase in processing power came with a side effect, allowing users to notice the increase in latency in systems due to classic bottlenecks in the infrastructure, like CPU, RAM, Disk, Network, etc. Software engineering needed an adequate response to the massive requirements of the systems, mainly about the processing of large volumes and different types of data.   

Apache Ignite was the solution designed to be the answer to many of these points, allowing to design a solution to have decentralized architecture, fault-tolerant and searchable. Wikimedia receives a massive number of searches, updates and new articles daily, making it a challenge to balance and manage workload in a distributed and fault-tolerant manner. We will use Apache Ignite to ingest the Wikimedia (sample) dump and expose the endpoints to allow data manipulation in a decentralized way with zero SPOF (Single Point Of Failure) being a vital solution requirement.  

For the current use case, we will deal with the following points:  
1. Concurrency is hard   
2. Low Latency in computer   
3. Bottleneck in data sharing   
4. Computer Grid   
5. Services Grid   
6. Database in memory  
7. Decentralised data architecture  
8. Scalable Microservices to reduce data latency  

**#3 Topic: Modern Big Data Engineering Architecture in the Cloud**  

*Gilvan Coelho, Data Engineer*

Cloud adoption is increasing, and companies are looking for new big data architectures that can be elastic, reliable and can deal with a variety of data processing models to support a diversity of business needs. But the use of public cloud does not mean that you are just moving your on-premise infrastructure, once you can use a new architectural approach to improve scalability, reliability, concurrency, service management and so on. In this presentation, we will talk about modernizing a big data processing in the cloud.

- Lambda Architecture in The Cloud
- Separation data storage from data processing
- Orchestration process 
- Vantages and disadvantages of using public cloud
- Manage concurrency
- Managed services

**#4 Topic: The Hitchhiker's Guide to the Machine Learning Engineering Galaxy**  

*Alyona Galyeva, AI & Data Engineering Lead and Principal Data Solutions Engineer*

There are million of planets in the Machine Learning Engineering Galaxy. Each is responsible for one particular task in bringing machine learning (ML) and deep learning (DL) models to production. It is so easy to get lost here.
The internet offers thousands of articles and free of charge courses, showing how it is easy to train and deploy a simple AI model. At the same time in reality it is difficult to integrate a real model into the current infrastructure, debug, test, deploy, and monitor it properly. Let me guide you through this process by sharing tips, tricks, and favourite open source tools that will make your life much easier. So, at the end, you will know where to start your deployment journey, what tools to use, and what questions to ask.

- AI-powered software versus traditional software 
- MLOPS and AI pipeline in a nutshell 
- ML Platform: what is this? 
- Hands-on with AI pipelines: 
1. Offline serving - batch 
2. Online serving - near real-time 
3. Online serving - real-time

**Enthousiast geworden om deel te nemen aan de Virtual Roadtrip?**

Wacht dan niet langer en registreer je voor deze Virtual Roadtrip. Vergeet niet je adres in te vullen, want we zouden het leuk vinden je een defrosting kit toe te sturen voordat we beginnen met deze trip in februari! 

Virtual Roadtrip | Defrost your Data 

large_predictive-maint 2-min.png

medium_predictive-maint 2-min.png

small_predictive-maint 2-min.png

thumbnail_predictive-maint 2-min.png

predictive-maint 2-min.png

Improving quality and preventing costs by using the power of data

Hogere kwaliteit en lagere kosten door de kracht van data

AI & Machine Learning 

From unstructured data to business value for manufacturing

Van ongestructureerde data tot waarde voor je bedrijf 

data-engineering-01.png

Streamlining your data flows in order to get most value out of it

Data engineering helpt je met goed ingerichte datastromen meer waarde te halen uit ruwe data

Data Engineering

Checklist: Where to start your data management journey?

Checklist: Aan de slag met datamanagement!

TK Photography (84 van 355).jpg

Helaas moesten we besluiten de ITNEXT Summit 2020 af te gelasten. De huidige situatie maakt het onmogelijk en ongepast om ons grote evenement dit jaar te organiseren. De wereld kampt met een grote crisis. Blijf gezond en blijf indien mogelijk thuis. Ondertussen overwegen we alternatieve manieren om IT-kennis te delen met de ITNEXT-community en kijken we uit naar de 2021-editie van ITNEXT Summit.

Op woensdag 27 oktober 2021 vindt ITNEXT Summit 2021 plaats in Pakhuis de Zwijger in Amsterdam. De Summit van dit jaar heeft drie parallelle tracks voor JavaScript, Data Engineering en DevOps. Het evenement is bedoeld voor IT-professionals die hun kennis willen verdiepen en gelijkgestemde IT-ers willen ontmoeten.

Ben je benieuwd naar Progressive Web Apps, de nieuwste Web API's, automatisering en performancetips om workflows te verbeteren? Of al het andere om het leven van JavaScript-ontwikkelaars te verbeteren? Mis de JavaScript-track niet!

In DevOps-track verwachten we gesprekken over continue verbeteringen op elk aspect van Application Delivery. Meer beveiliging, meer automatisering, meer functionele gemakkelijkheden en veel meer serverless!

Of ben je meer geïnteresseerd in Machine Learning Engineering, Risk Management in Data Applications, het testen van automatisering & monitoring van Data Pipelines en Data Engineering op moderne infrastructuren? Dan is ITNEXT Summit 2021 een evenement dat je moet bezoeken!

Het programma en de inhoud van de ITNEXT-top 2021 kunnen aan verandering onderhevig zijn.

ITNEXT Summit 2021

mobile-web-overlay.jpg

Performant mobile-first web applications according to the latest standards

Geoptimaliseerde mobile-first web applicaties volgens de laatste standaarden

Web Development

alex-machado-80sv993lUKI-unsplash.jpg

Leave your legacy systems behind by unleashing the power of the cloud

Laat legacy-systemen achter je door gebruik te maken van de kracht van de cloud

Cloud Migration

Cloud Migratie

Checklist: How to migrate to the cloud in 12 steps

Checklist: Naar de cloud migreren in 12 stappen

Één of twee keer per jaar schuiven we bij LINKIT de bureaustoelen de gang op en maken we plaats voor de schoolbanken. Acht kandidaten die de zeer zware voorselectie hebben overleefd leren dan tijdens onze bootcamp in sneltreinvaart de beginselen van data engineering. Vervolgens worden ze gekoppeld aan een potentiële werkgever waar ze een jaar lang aan de slag gaan. Vervolgens hebben ze de keuze om daar vast in dienst te gaan, of bij LINKIT te blijven. Één van hen is voormalig assistent professor Inan Ates. Hij gooide vorig jaar zijn carrière om en ging van een Turkse universiteit, via de bootcamp aan de slag bij ASML. Hoog tijd voor een terugblik op een veelbewogen jaar. 

### In het diepe gegooid

“Tough but nice”, zo omschrijft Inan zijn eerste jaar als data engineer in een paar woorden. “De bootcamp gaf weliswaar een goede introductie in de belangrijkste aspecten van data engineering, maar bereidde me maar deels voor op de uitdagingen waar ik vervolgens bij ASML tegen aan liep. Eigenlijk alle technologie waar ik bij ASML mee moest werken was nieuw voor mij. Om een voorbeeld te geven: we leerden tijdens de bootcamp wel over Kafka, maar toen ik bij ASML direct tegen een Kafka probleem opliep, was het een hele uitdaging om het probleem op te lossen.”

### Selecteren op leervermogen

Interessant genoeg is dat juist wat LINKIT voor ogen had. De kandidaten werden van tevoren niet geselecteerd op hun al aanwezige kennis van data engineering en coderen, maar op hun vermogen om nieuwe dingen te leren. Waren ze bijvoorbeeld al thuis in Java, dan moesten ze een opdracht in .Net of Python uitvoeren en vice versa. In een week tijd moesten ze zelfstandig een nieuwe programmeertaal te leren om daarin een applicatie te bouwen. Het belangrijkste beoordelingscriteria was hoe ze deze enorme uitdaging te lijf gingen en hoe snel ze kennis konden absorberen. Uit ongeveer 100 aanmeldingen werden de acht besten vervolgens geselecteerd voor de bootcamp. 

### Senior als leerversneller

Om de uitdaging niet al te zwaar te maken,  gingen Inan en zijn twee medebootcampers niet in hun eentje naar ASML. Ze werden vergezeld door senior Thiago de Faria, die onder andere als opdracht had om te zorgen dat ze doorgingen waar ze tijdens de bootcamp aan waren begonnen: in sneltreinvaart data engineering in de vingers krijgen. 

Inan lacht als hij ernaar gevraagd wordt. “Thiago zorgt er zeker voor dat wij scherp blijven,” legt hij uit. “Hij stelt ons continu vragen waarop we het antwoord meestal niet weten.”

### Snel resultaat

Het afgelopen jaar was dan ook zeer leerzaam voor Inan. “Bij ASML ben ik vooral bezig geweest met het afronden van een eerder uitgevoerde data migratie. Voor de afronding hadden ze extra handen nodig, dus daar kwamen mijn collega’s en ik  in beeld. ASML vond het vooral belangrijk dat we snel meters maakten en resultaat boekten. Om meer uitdaging in het werk aan te brengen mogen we nu ook deels in Scala gaan programmeren, in plaats van met Python. Ik vind dat zelf ook een flinke verbetering. Met Scala kun je data efficiënter toepassen en loggen. Bovendien is het naar mijn idee betrouwbaarder dan Python.”

### Uniek aanbod LINKIT

Ook voor ASML was het afgelopen jaar zeer leerzaam. Voor hen was het interessant om te zien hoe een team van drie nieuwbakken data engineers en een senior bij hen zou functioneren. Volgens Koen Hendrickx, manager Big Data & Advanced Analytics bij ASML, was de aanvulling zeer waardevol. “Ervaren Data Engineers zijn om te beginnen schaars,” legt hij uit. “Daar komt bij dat je mensen wel kunt leren programmeren, maar daarmee heb je jouw bedrijfsprobleem nog niet opgelost. Door een senior bij de juniors te zetten, kunnen de juniors heel snel leren in de juiste context (van ASML) waardoor ze sneller de juiste oplossingen weten te vinden. Hierdoor levert LINKIT niet gewoon wat extra handen, maar lossen ze echt een probleem voor ons op.”

### Uitdaging

“Als ik kijk naar de verwachtingen die ik voor de bootcamp had, zijn die ook echt wel uitgekomen.” zegt Inan. “Zo wilde ik mijzelf uitdagen en dat is zeker gelukt,” zegt hij met gevoel voor understatement. “Voor de bootcamp werkte ik als assistent professor en was ik bezig met een master in computer science. Die laatste is helaas gesneuveld,” zegt hij met een grijns. “De bootcamp, met ASML daar achteraan, was te zwaar. Het nam al mijn tijd in beslag.”

### Omgaan met druk

Een tweede punt waar Inan zich in wilde uitdagen, was het omgaan met druk en stress. “Als data engineer werk je continu onder druk. Er is altijd wel een nieuw probleem, waarvoor je heel snel een oplossing moet zien te vinden. Dan weer is er iets aan de hand met een pipeline, of is er een probleem met een platform. Soms kom je daaruit en soms faal je. Gelukkig mag dat ook. Het belangrijkste is dat je met die druk om kan gaan en dat is bij mij gelukkig zo.”

### Motivatie vereist

Het is duidelijk dat het volgen van de bootcamp en het doorstaan van het daaropvolgende jaar wel een prijs heeft. “Ik zit nog steeds ieder weekend te studeren om mijn kennis bij te spijkeren,” geeft Inan aan. “Je moet echt wel gemotiveerd zijn om dit werk te willen doen. Het komt zeker niet vanzelf.”

### De keuze
 
Tot slot is er nog één belangrijke vraag over. Gaat Inan straks volledig in dienst bij ASML, of blijft hij bij LINKIT? “Ik neig naar ASML ,” antwoordt Inan. “Ondanks alle druk heb ik het namelijk echt super goed naar mijn zin daar. Tegelijkertijd bevalt LINKIT ook prima. Het is hoe dan ook een moeilijke keuze.”

### Ze zitten al bij de club
 
Bij ASML zijn ze daar al uit. Koen: “Ze zijn met de insteek aangenomen om in dienst te gaan en wat ons betreft worden ze werknemers. Als ze dat zelf willen natuurlijk. Op die manier behandelen we ze overigens ook nu al. Ze hebben bijvoorbeeld blauwe batches terwijl ‘externen’ een groene batch hebben. Ook worden ze uitgenodigd voor interne events. Ze zitten dus eigenlijk al bij de club en hopelijk blijft dat zo!” 
 
*Kan jouw bedrijf ook nog wel wat data engineers gebruiken? Meld je dan aan als partner voor de volgende bootcamp van LINKIT. Neem contact met ons op voor meer informatie.*


inan.png

Wil jij een data engineer worden?  Van assistent professor tot data engineer bij ASML. Het kan, met de LINKIT bootcamp. Hoe? Lees meer!

Het kan, met de LINKIT bootcamp  

Van assistent professor tot gewaardeerde data engineer bij ASML 

Als één van LINKIT’s meer ervaren Cloud professionals kijkt Anthony  Potappel niet snel op van een uitdaging meer of minder. Maar het opzetten van een eigen Kafka service voor een pilot applicatie op de AWS Cloud, dat was ook voor hem een forse uitdaging. Een kleine maand werkte hij bij een verzekeraar mee aan deze bijzondere en uitdagende opdracht. Voor hen een mooie eerste stap in de richting van het realiseren van de lange termijnplannen van het bedrijf, waarbij het grootste gedeelte van de infrastructuur op de AWS Cloud moet gaan draaien.

### Wat is Kafka?

Kafka, officieel Apache Kafka, is een open source streaming platform, ontwikkeld door LinkedIn. Het wordt tegenwoordig op grote schaal gebruikt als een soort van man-in-the-middle bij het verwerken van realtime datafeeds. Gebruikers kunnen zich abonneren op datafeeds en vervolgens gegevens realtime publiceren op meerdere systemen of applicaties. Voorbeelden hiervan zijn het matchen van passagiers en voertuigen bij Uber, of realtime analyses voor onderhoud bij Shell.  

### Koppelen van applicatie met SaaS-dienst

Het grootste probleem waar Anthony tegenaan liep, was het koppelen van de nieuwe applicatie met met een SaaS-dienst van een derde partij. Daarvoor was een publiek endpoint nodig, waarvoor een Kafka cluster gebruikt werd. Een uitdaging, omdat de Amazon’s Managed Streaming for Apache (MSK) maar via één VPC netwerk of VPN werkt. Dit werd helaas niet door de SAAS-partij ondersteund.

### Kokerellen in de AWS keuken 

Daarentegen biedt AWS wel een zeer uitgebreid bouwpakket, bouwblokken en automatiseringsgereedschappen om zelf een service in elkaar te zetten, op basis van een eigen recept. En dat is waar Anthony mee aan de slag gegaan!

### Enorm veel componenten

Het zelf ontwikkelen van een eigen Kafka service is echter geen alledaagse klus. Zo zijn er enorm veel componenten die verwerkt moeten worden. Denk daarbij aan een Elastic Compute Cloud (ECS) met Autoscaling, SSM-Parameter Store, Route53, PrivateCA en Lambda functions. De gecreëerde omgeving wordt vervolgens via een VPN ontsloten naar een tweede AWS-account, met een firewall, Intrusion Detection en Prevention Systems. Pas na al deze acties wordt het endpoint publiekelijk doorgezet. Een flinke lijst aan ondoorzichtige termen dus, waarbij alles moet kloppen. 

### Voor-en nadelen van een eigen service

Het zelf toepassen van al deze componenten op één service bracht zowel voordelen als uitdagingen met zich mee. Zo biedt ECS als voordeel dat er voor Kafka standaard Confluent images gebruikt kunnen worden. Die moeten echter nog wel van een extra security-patch worden voorzien, zodat (automatisch gegenereerde) wachtwoorden via een SSM Parameter Store ingeladen kunnen worden. Om de data veilig van het ene AWS account naar het andere te  transporteren is portmapping gebruikt. Helaas voor Anthony is dat een feature die nog niet in de standaard MSK dienst zit van AWS, waardoor deze handmatig moest worden ingesteld.  

### PrivateCA

Wat dit project voor Anthony vooral speciaal maakte was het PrivateCA component. PrivateCA wordt gebruikt om de uitgifte van (SSL-) sleutels te regelen, zodat Kafka-nodes onderling veilig kunnen communiceren en alleen de applicatie toegang heeft tot het cluster.

Alleen ging het opzetten hiervan niet zonder slag of stoot. PrivateCA is namelijk een van de weinige diensten van AWS die niet volledig kan worden opgebracht via CloudFormation. Het belang van CloudFormation is dat je via één recept kunt uitrollen op 4 omgevingen van de OTAP ontwikkelstraat, waardoor veel tijd en moeite wordt bespaard. 

### Python Lambda’s

Om dit op te lossen schreef Anthony in Python Lambda’s die (via AWS SDK) de juiste API’s aanroepen, een PrivateKey genereren en vervolgens uploaden naar AWS. Uiteindelijk is de gevraagde omgeving nu 100 procent via CloudFormation geautomatiseerd volgens de AWS Infra-as-code standaard!

### Een hele prestatie!

Ondanks de vele hierboven genoemde uitdagingen, slaagde Anthony erin om in minder dan een maand de benodigde configuratie code en bijbehorende documentatie op te leveren. Een hele prestatie! Waar hij ook met recht trots op is. De omgeving wordt nu getest en Anthony springt af en toe bij voor extra support. Na deze fase verwacht hij dat de service zonder problemen zelfstandig kan draaien. 

### Afronding

Doordat Anthony samen met het team van de klant werkte en de applicatie goed heeft gedocumenteerd, heeft de klant nu de mogelijkheid om zelf verder aan de slag te gaan. 

Zo past dit project perfect binnen de LINKIT manier van werken: in een transparante en pragmatische aanpak samenwerken met de klant om zo een business gedreven oplossing te vinden. Met kennisdeling in de hoofdrol!

*Sta jij ook voor een AWS uitdaging? En kun je wel wat extra advies gebruiken? Anthony komt graag met veel enthousiasme zijn AWS ervaring met je bespreken.*


taylor-vick-M5tzZtFCOfs-unsplash.jpg

Je eigen Kafka service bouwen ondanks een berg aan uitdagingen. Anthony & zijn team deden het! Sta jij ook voor zo'n uitdaging?

Het creëren van een eigen Kafka service ondanks een berg aan uitdagingen   

Binnen een maand op weg naar een volledig geautomatiseerde infrastructuur op de AWS cloud

Het beroep van data engineer is relatief nieuw, maar wel zeer gevraagd bij het toenemende aantal bedrijven dat met data in de weer is. Bovendien is er (nog) geen officiële opleiding, waardoor het voor nieuwe data engineers vooral belangrijk is om in snel tempo veel relevante ervaring op te doen. Bij LINKIT voorzien we met onze unieke bootcamp voor data engineers in deze behoefte. Veelbelovende talenten krijgen direct een contract, leren in acht weken de basis van data engineering en gaan vervolgens één jaar lang aan de slag bij een gerenommeerde werkgever om de fijne kneepjes van het vak te leren. Daarna mogen ze zelf kiezen of ze daar in vaste willen, of liever bij LINKIT blijven. 

### Veel animo

Deze methode vraagt behoorlijk veel van de kandidaten. Dat begin al tijdens de selectieprocedure. Gemiddeld hebben we tussen de 100 en 150 aanmeldingen en slechts plaats voor acht. Omdat het leren van data engineering een enorm steile leercurve vraagt, selecteren we minder op de al aanwezige vaardigheden, maar op leerbaarheid. 

Dit zie je ook duidelijk terug in de proefopdracht. Iedere kandidaat moet deze in een, voor hem of haar onbekende, programmeertaal uitvoeren. Daarbij moeten ze continu bijhouden welke stappen ze nemen en vooral hoe ze de opdracht proberen uit te voeren. 

### Leren en direct toepassen

Het resultaat is vervolgens niet van belang. Wel hoe snel de kandidaat in staat is om nieuwe materie als het ware te absorberen én direct toe te passen. Dat is namelijk in de kern wat we van onze data engineers verwachten. 

Ondanks dat de meeste deelnemers wel een achtergrond in de IT of in de techniek hebben, is de bootcamp hierdoor breed toegankelijk. Zo hebben we ook mensen met een achtergrond in biologie of sales. 

### Onderdelen bootcamp

De bootcamp zelf bestaat uit zes weken les, die vervolgens worden afgesloten met een Capstone Project van twee weken. In deze twee weken zullen ze, met alle nieuwe opgedane kennis, een vraagstuk van een klant in teams oplossen. Onderwerpen die onder andere voorbijkomen in de bootcamp zijn: Python, Scala, Docker, Spark, Kafka, SQL en NoSQL en werken vanuit de Agile methode. 

### Speeddates

Na een aantal weken staat het, voor sommigen, spannendste onderdeel op de planning: de speeddates. LINKIT werkt voor de bootcamp samen met een aantal partners waarbij de deelnemers na afloop van de bootcamp junior data engineer aan het werk gaan, waaronder bedrijven als Shell, ASML en Transavia

### Het vervolg

Zowel de deelnemende bedrijven als de bootcampers kunnen na de speeddates een voorkeur opgeven. Aan de hand daarvan wordt een passende match gemaakt. Hier houdt de bootcamp echter niet op, maar begint het leertraject pas echt. De bootcamp voorziet in een basis, maar in veel gevallen blijft het noodzakelijk voor de nieuwe data engineers om zich in sneltreintempo nieuwe technieken, kennis en werkmethodes eigen te maken. Deels doen ze dit zelfstandig, maar ook onder begeleiding. Het eerste jaar moet er altijd een senior data engineer aanwezig zijn. Ten eerste om de kwaliteit te bewaken, maar ook te verzekeren dat de bootcampers hun steile leercurve voortzetten bij het bedrijf waar ze gedetacheerd zijn. Is deze bij de partner niet beschikbaar, dan kan LINKIT die zelf ook meesturen. 

*LINKIT organiseert één a twee keer per jaar een bootcamp. Zit jouw bedrijf te springen om nieuwe junior data engineers? Neem dan contact met ons op en vraag naar de mogelijkheden om deel te nemen. Ben je benieuwd naar een voorbeeld uit de praktijk? Lees dan [deze business case](/cases/Van-assistent-professor-tot-gewaardeerde-data-engineer-bij-ASML) over de samenwerking tussen bootcamper Inan en ASML. Of lees onze [data management checklist](https://go.linkit.nl/l/847693/2020-10-05/2k4hd) voor meer inzicht over het belang van ervaren data engineers voor je bedrijf.*


P1010910.jpg

Data engineer in 8 weken met de LINKIT bootcamp! Zit jouw bedrijf te springen om nieuwe data engineers en ben je benieuwd naar een praktijk voorbeeld?

Data engineer in 8 weken met de LINKIT bootcamp

Volgens velen is data het nieuwe goud. Het goede nieuws daarbij is dat het overal beschikbaar is. Ook voor het MKB is het inmiddels makkelijk om data te verzamelen van websites, apps en social media. Maar, net zoals een goudklomp, is data vrijwel waardeloos zonder bewerking. Om jouw data echt waarde te geven heb je een datawarehouse nodig, waarschijnlijk vergezeld door een datalake. Misschien denk je nu dat dit te hoog gegrepen is voor jouw bedrijf, maar niets is minder waar! 

### Digitale fabriek

Een datawarehouse werkt in veel opzichten als een digitale fabriek. Het warehouse bestaat uit een replicatie van al je operationele data, die vervolgens verwerkt kan worden tot bruikbare inzichten voor Business Intelligence (BI), applicatietesten en het uitvoeren van analyses. 

### Verschil tussen datawarehouse en datalake

Om het verschil tussen deze twee termen te begrijpen, moet je iets van de werking van data weten. Plat gezegd komt data voor  in drie smaken: gestructureerd, ongestructureerd en semigestructureerd. Een datawarehouse kan worden gebruikt om gestructureerde data te verwerken. Bijvoorbeeld applicatiedata, excel sheets en iedere vorm van RDBMS (Relational Database Management System). 

Tegelijkertijd is veel data juist niet gestructureerd, bijvoorbeeld gps-locaties die je binnenkrijgt via je webapp of social media. Om hier toch inzichten uit te halen, moet je ze eerst structuur geven. Dat kun je doen door deze data te verzamelen in een datalake (Big Data technologie platformen) en ze vervolgens te structureren door middel van specifieke applicaties. Daarna kan de data gebruikt worden in je datawarehouse via een OLAP front end (Online Analytical Processing). 

### Goede resultaten met weinig data

Misschien komen al deze termen nogal overweldigend over. Dat hoeft echter niet het geval te zijn. Zowel datawarehouses als datalakes kunnen zowel groot als klein zijn. Met de nieuwste technologie is het ook mogelijk om goed resultaten te bereiken met weinig data. Hierdoor worden datawarehouses ook interessant voor het MKB. 

### Datawarehouse te huur

Dat wordt nog verder versterkt door de mogelijkheid om een datawarehouse te ‘huren’. Daardoor hoef je geen kapitalen te investeren om je eigen datawarehouse op te zetten. Je kunt er namelijk ook één in de Cloud gebruiken, waarbij je alleen betaald betaalt naar verbruik. Zowel Azure, Google en AWS zijn daarvoor geschikt. Het enige wat je verder nodig hebt is een applicatie om de data in te zien. 

Het is een perfecte manier om te starten met het gebruik van Business Intelligence. Zo kan het zijn waarde bewijzen, voordat je eventueel opschaalt naar Big Data platformen voor de meer complexe analyses. 

### Hybride oplossing

Voor veel grotere bedrijven is de Cloud juist geen optie. In veel gevallen bestaan deze bedrijven al vele tientallen jaren (of langer). Dat betekent dat ze in veel gevallen zwaar hebben geïnvesteerd in hun eigen datastructuur. Voor hen is de beste oplossing om een hybride oplossing te kiezen, waarbij je ruimte in de Cloud alleen gebruikt tijdens piekmomenten om een tijdelijke hoge vraag naar computerkracht op te vangen.   

*Bij LINKIT hebben we veel ervaring met het uitvoeren van data oplossingen voor bekende ondernemingen zoals ASML, Ahold en de Transfracht Group (onderdeel van Deutsche Bahn). Wil je stap voor stap weten hoe je dat moet doen? En hoe je de meeste waarde haalt uit je data? Lees dan onze [data management checklist](https://go.linkit.nl/l/847693/2020-10-05/2k4hd).*  

chuttersnap-BNBA1h-NgdY-unsplash.jpg

Een datawarehouse, wat is dat precies? Elke bedrijf verzameld data van social media, websites en apps. Ontdek wat een eigen Datawarehouse voor jouw kan doen!

Waarom je geen Amazon hoeft te zijn om te profiteren van een datawarehouse

De data engineer is in toenemende mate de zeer gewilde allrounder in de data-industrie. Of het nu gaat om het bouwen van pipelines, of het verhelpen van platformproblemen, de data engineer kan het voor je regelen. Aan de andere kant is er (nog) geen officiële scholing om data engineer te worden. Ervaring is dus het allerbelangrijkst en er is overduidelijk meer dan één route om data engineer te worden. Door dit alles is het lastig bepalen of je de echte expert te pakken hebt. Wil je het zeker weten? Maak dan gebruik van deze checklist! 

### 1.	Een data engineer moet jouw data science team kunnen ondersteunen

Geen enkele data scientist kan de data van jouw bedrijf omzetten in bruikbare inzichten, zonder een staaltje van goede data engineering achter de schermen. Een data engineer moet begrijpen welke data een data science team nodig heeft en deze kunnen voorbereiden en kunnen leveren. 

### 2.	Een data engineer moet jouw data platform kunnen (door)ontwikkelen

De kerntaak van een data engineer is het maken van data pipelines die betrouwbaar en efficiënt data leveren voor analyse. Het verwerken van al die data om er iets bruikbaars van te maken is een grote uitdaging. 

Om dit aan te kunnen, moet een data engineer in ieder geval een uitstekende programmeur zijn. De belangrijkste programmeertalen zoals Python, Java en Scala moeten voor hem of haar geen geheim zijn. Daarnaast kan een goede data engineer overweg met zowel relationele als non-relationele databases, cloudinfrastructuur en distributiesystemen. Daar bovenop moeten ze om kunnen gaan met big datatools zoals Hadoop, Spark en Airflow. Deze worden gebruik voor de extractie, het transport en het inladen (ETL) van big data op een makkelijke en geautomatiseerde wijze. 

### 3.	Een data engineer moet sociaal zijn en communicatief vaardig

Een data engineer werkt vrijwel altijd binnen een team. Iemand inhuren die technisch briljant is, maar onmogelijk om mee samen te werken, gaat vrijwel zeker niet werken. Wat dat betreft is het tijdperk van de nerd IT’er echt wel over. Sociale- en communicatieve vaardigheden zijn voor veel bedrijven inmiddels net zo belangrijk als technische kennis en kunde. Een goede data engineer is in staat om zijn of haar plannen en ideeën op een begrijpelijke manier uit te leggen aan iedere belanghebbende binnen het bedrijf. 

### 4.	Een data engineer staat open voor nieuwe uitdagingen en is altijd bereid om door te leren en zichzelf te verbeteren. 

Geen enkele dag is ooit hetzelfde voor een data engineer. Hij of zij moet in staat zijn om veel te kunnen begrijpen. In veel gevallen komt een engineer onbekende, maar dringende uitdagingen tegen waardoor hij of zij in staat moet zijn om snel nieuwe kennis te vergaren en deze om te zetten in een werkende oplossing. 

Daar komt bij dat de belangrijkste gereedschappen en technieken waarmee een data engineer werkt nog volop in ontwikkeling zijn. Om relevant te blijven moet een data engineer daarvan op de hoogte blijven en nieuwe inzichten integreren in zijn werkmethode. Om kunnen gaan met stress en open staan voor nieuwe uitdagingen zijn zeker belangrijke voorwaarden om een succesvolle data engineer te zijn. 

*Ben je er nog steeds niet zeker van dat je de juiste data engineer hebt gevonden? LINKIT heeft meer dan 20 jaar ervaring als kennispartner waarbij we bedrijven, zoals KLM en ASML, de kennis leveren die zij zelf niet in huis hebben. Heb jij behoefte aan een betrouwbare data engineer? Wij kunnen zeker helpen! Neem contact op met één van onze experts voor meer informatie.*

P1010653.jpg

Wat doet een data engineer en hoe weet je of de kandidaat een goede match is? Of het nu gaat om het bouwen van pipelines of het verhelpen van platformproblemen.

Dit is wat een data engineer moet kunnen doen!

Een Data Engineer bij LINKIT houdt zich bezig met het adviseren over, bouwen en onderhouden van Big Data platforms en daarom helpen bij het industrialiseren van data science oplossingen/modellen in enterprise omgevingen. We zijn platform agnostisch en hebben te maken met omgevingen on-premises of in public clouds. Daarbij zijn wij niet sterk afhankelijk van specifieke tools of technologieën. Ben jij een onafhankelijke engineer wiens kennis en ervaring bijdraagt aan de groei van onze collega's en klanten? Join the team! Wat kan je verwachten:<ul><li>Werk aan 1 project per keer geen overloading.</li><li>Gebruik ten minste tot 10% van je tijd (een dag in de twee weken) om met je team/squad samen te komen, te leren en gave dingen te ontwikkelen.</li><li>Een groot deel van je werkzaamheden zal bestaan uit het praten met de business om hun problemen op te lossen. Dus niet alleen maar coderen.</li><li>Agile teams en omgevingen.</li><li>Een omgeving die ondersteund in het continu leren en het nemen van risicos.</li><li>Het bijwonen van technische conferenties - Dataworks Summit, Strata, SparkAI, ScalaDays, </li><li>Ondersteuning bij het spreken op meetups/conferenties en bij het schrijven van technische artikelen.</li></ul>

Data Engineer (medior & senior)

Data Engineer: supporting business decisions with automated data pipelines!

We zijn op zoek iemand die ervaring heeft met het verkopen van tech producten en diensten. Daarbij gaat de voorkeur uit naar iemand met kennis en ervaring binnen het Data Solutions domein. Je wordt binnen LINKIT onderdeel van de afdeling IT & Innovations, waarbij de focus ligt op Data (engineering, AI, ML), Low Code, Web Development en Cloud. Jij gaat je volledig focussen op het verkopen van onze data proposities aan nieuwe en bestaande klanten en deze klanten helpen te innoveren en sneller te groeien. Wat verwachten we van jou?<ul><li>Je gaat een nieuw klantenbestand opbouwen met wie we gave projecten gaan doen. Op basis van een duurzame relatie laat je enkele van deze klanten uitgroeien tot strategische partners op het gebied van de data proposities die wij leveren en ontwikkelen.</li><li>Je brengt energie en positiviteit tijdens gesprekken en denkt altijd in oplossingen. Met je passie voor IT & innovation en je analytische vermogen ben je in staat om business oppertunities te spotten en te vertalen naar onze diensten.</li><li>Je hebt er plezier in om in contact te treden met nieuwe klanten en je ziet new business als de start van een vruchtbare relatie (in plaats van acquisitie) op basis van het oprechte geloof dat onze diensten een impact zullen maken.</li><li>Je bent ervan verzekerd dat jouw sterke netwerk op C-level je een vliegende start bezorgt met mooie nieuwe kansen.</li></ul> Wat kan je van ons verwachten?<ul><li>Je wordt ondersteund en ontzorgd in operationele taken die voortkomen uit jouw werk, zodat je je volledig kan focussen op wat echt belangrijk is: het bouwen en managen van nieuwe relaties!</li><li>LINKIT is kennis-gedreven. Dit vertaalt zich naar hoe wij sales doen: wij matchen de technische diepgang van het verzoek van een klant met een voorstel of presentatie die waarde toont voor die organisatie.</li></ul> LINKIT; Top Werkgever & al meer dan 20 jaar goed in wat we doen! LINKIT is een organisatie met een open en informele sfeer waarbinnen wij samen onze ambities en doelen kunnen nastreven. Iedereen motiveert en helpt elkaar, successen worden gevierd en tussendoor is er altijd tijd voor een potje tafeltennis, tafelvoetbal, FIFA en natuurlijk de vrijdagmiddagborrel. Mede door dit alles is LINKIT verkozen tot winnaar van de Topwerkgever-award! Ben jij die commerciële techy of die geeky sales professional die technische diepgang brengt in onze commerciële activiteiten?  Wat ga je doen?<ul><li>Het uitdragen en verkopen van LINKIT haar data tech producten en diensten</li><li>De behoefte van de klant vertalen en afstemmen op wat de data producten en diensten van LINKIT kunnen oplossen</li><li>Ons klantenbestand uitbreiden</li><li>Onze projectdiensten laten groeien</li><li>Kansen halen uit een sterk c-level netwerk</li><li>Klant presentaties en workshops geven tijdens de pre- en post-salesfase.</li><li>Ondersteunen bij / initiëren van activiteiten in samenwerking met onze marketing afdeling</li><li>Ondersteunen bij ons partnerbeheer om nieuwe kansen te genereren</li><li>Commerciële input leveren voor nieuw te ontwikkelen proposities</li><li>Op strategisch niveau relaties aangaan en onderhouden met klanten en partners.</li></ul>

Tech Product Sales Professional (data)

Wij zijn op zoek naar een technisch aangelegd sales professional die zich bezig gaat houden met onze Data gerelateerde producten en diensten binnen onze IT & Innovations afdeling.