Junior Solution Advisor

Chrisje Ganzevoort 2.jpg

Chrisje Ganzevoort.jpg

ONTBITES-session---SUMMERv4

**Na een aantal succesvolle ONTBITES sessies, wilden we het even over een andere boeg gooien. Deze zomer organiseert LINKIT twee Zomer Sessies!**

Voor deze twee sessies werken we weer samen met de mooiste organisaties en beste sprekers. Wie dit zullen zijn, zullen we binnenkort bekend maken. 
Als je jouw organisatie naar een hoger level wilt tillen, kennis wilt opdoen & verzekerd wilt zijn van een leuke middag - houd deze twee data dan vrij in jouw agenda. We beloven je dat het je kostbare tijd waard zal zijn.

**Data:**
- Op 25 augustus zullen we het hebben over: 'How redesigning automation processes in the transportation industry leads to enhanced efficiency'.
- En op 1 september nemen we je graag mee in het onderwerp: 'How predictive maintenance in the manufacturing industry leads to operational excellence'. 

Bij beide sessies zal de nadruk niet liggen op de diep technische inhoud van de onderwerpen. We willen je hands-on informatie meegeven die je direct kan toepassen binnen jouw organisatie. 

*Meer details volgen snel, we houden je op de hoogte. Houd ons in de gaten.*

Zomer Sessies LINKIT

data-engineering-01.png

Streamlining your data flows in order to get most value out of it

Data engineering helpt je met goed ingerichte datastromen meer waarde te halen uit ruwe data

Data Engineering

outsystems-overlay.jpg

Deliver 50% faster results in application development compared with traditional development

Applicaties ontwikkelen in 50% van de tijd ten opzichte van traditionele methoden

OutSystems

Video & Event creator

Carmen Christiaanse.jpg

covers-02

**Één thema, één maand, vier geweldige sprekers.**
 
De hele maand augustus staat in het thema van OutSystems. We willen je meenemen in onze reis met vier verschillende sprekers en vier verschillende onderwerpen. De vier verschillende onderwerpen zullen live worden uitgezonden op vier verschillende data (zie beneden). Daarna zullen de video's on demand beschikbaar zijn en kun je ze in je eigen tijd terugkijken. Wil je exclusief toegang tot de (live) video's?  Zorg dan dat je je aanmeldt. *Wij zorgen ervoor dat je goed beslagen ten ijs komt met een te gekke roadtrip toolkit (alleen naar adressen in Nederland)!*
 
Nieuwsgierig naar de vier onderwerpen? Lees dan deze samenvattingen en verget niet om de video te bekijken, die vind je onderaan de tekst. 
 
**Dag 1 | 6 augustus | 16:00 | Wouter Teensma**

**Applicaties bouwen met OutSystems die met vlag en wimpel een penetration test doorstaan!**
 
Wanneer je een nieuwe applicatie maakt, voordat deze in productie gaat, voeren veel organisaties eerst een penetration test uit om security kwetsbaarheden op te kunnen sporen. Dit is, natuurlijk, heel erg verstandig. Ondanks dat developers alles weten over de best practices van OutSystems voor het bouwen van een veilige applicatie, doen penetration testers meestal maar een paar bevindingen. 

In deze presentatie zal ik een paar van de meest voorkomende (en een paar verrassende, ongewone) bevindingen delen waar ik tegenaan ben gelopen, en hoe je die kunt vermijden. 
Gezien het oplossen van bugs na een penetration test meestal meer tijd kost dan het voorkomen van deze bugs in de eerste plaats, stel ik voor dat we OutSystems applicaties bouwen die met vlag en wimpel een penetration test doorstaan! 
 
**Dag 2 | 11 augustus | 16:00 | Orla Dijkink**

**Hoe je code smells kunt inzetten om problemen te vinden in jouw code.** 
 
Dus: je hebt een aantal of een hoop applicaties gebouwd in Outsystems. Het team levert met grote snelheid nieuwe functionaliteiten. Maar hoe weet je of jouw applicaties goed onderhoudbaar zijn? Code smells kan jou helpen problemen te signaleren voordat het echt een probleem is. Ik zal je alles vertellen wat je moet weten over code smells en hoe je het kunt gebruiken om de kwaliteit van jouw code te verbeteren. 
 
**Dag 3 | 20 augustus | 16:00 | Parma Bhagwandin**

**REST? Ik zal slapen wanneer ik dood ben!** 
 
Met één enkele klik kun je een REST API in OutSystems laten zien of gebruiken. Het is eigenlijk heel simpel, maar er is meer nodig voor het maken van een goede applicatie dan alleen een goede klik. In mijn video zal ik wat tips en tricks delen over het gebruik van REST API's in OutSystems, wat je uiteindelijk hopelijk helpt in jouw traject voor het maken van een robuuste applicatie met OutSystems. 
 
**Day 4 | 27 augustus | 16:00 | Negin Nafissi**

**De reis van een OutSystems Developer …**  

Waarom je vandaag met OutSystems zou moeten starten en wat moet je in je hebben om een goede OS-developer te worden? Negin zal je vertellen over haar reis in het worden van een OutSystems professional en legt je het belang uit van soft skills in deze rol.

<iframe width="100%" height="315" src="https://www.youtube.com/embed/T6Dr8JfI4Dw" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
 


Virtual Roadtrip OutSystems

CEO LINKIT Systems

Ruben Bonito 1.jpg

Ruben Bonito.jpg

Round table.jpeg

**Disruptors! Zijn jullie er klaar voor?**

Neem deel aan deze sessie met OutSystems en Harry van Dorenmalen, voormalig voorzitter van IBM Europe en onderdeel van de raad van advies van LINKIT, waarin ze je zullen uitdagen om meer wendbaar te zijn in tijden van disruptie en gaan de discussie met je aan hoe je het proces van vermarkten kunt versnellen. 

Leer hoe andere besluitvormers vanuit Scandinavië zich weerbaar maken tegen disruptie en wat je kunt doen om dit te overleven en er sterker uit te komen. Kom erachter wat snelle innovatie - door vlugge applicatie ontwikkeling - betekent voor de processen en de cultuur binnen jouw organisatie. Op deze manier, zal je elke disruptie die je tegenkomt met gemak aan kunnen.

**Wat je meeneemt na deze sessie:**

- Nieuwe inzichten in jouw eigen innovatie processen;
- Informatie over hoe je jouw uitdagingen, veroorzaakt door disruptie door de snelheid en wendbaarheid van het OutSystems Low-Code platform, kunt signaleren; 
- Inspiratie voor het optimaal benutten van jouw mogelijkheden waarmee je disruptie kunt omzeilen.

Wil je hierbij aanwezig zijn, klik dan op de 'registreer je voor dit event' button (*note: dit formulier is een pre-registratie formulier waaruit we mensen zullen selecteren, daarmee nemen we zo spoedig mogelijk contact op*). 

De sessie zal worden gegeven in het Engels.

Round Table sessie - Hoe te innoveren in tijden van disruptie

TK Photography (84 van 355).jpg

Helaas moesten we besluiten de ITNEXT Summit 2020 af te gelasten. De huidige situatie maakt het onmogelijk en ongepast om ons grote evenement dit jaar te organiseren. De wereld kampt met een grote crisis. Blijf gezond en blijf indien mogelijk thuis. Ondertussen overwegen we alternatieve manieren om IT-kennis te delen met de ITNEXT-community en kijken we uit naar de 2021-editie van ITNEXT Summit.

Op woensdag 27 oktober 2021 vindt ITNEXT Summit 2021 plaats in Pakhuis de Zwijger in Amsterdam. De Summit van dit jaar heeft drie parallelle tracks voor JavaScript, Data Engineering en DevOps. Het evenement is bedoeld voor IT-professionals die hun kennis willen verdiepen en gelijkgestemde IT-ers willen ontmoeten.

Ben je benieuwd naar Progressive Web Apps, de nieuwste Web API's, automatisering en performancetips om workflows te verbeteren? Of al het andere om het leven van JavaScript-ontwikkelaars te verbeteren? Mis de JavaScript-track niet!

In DevOps-track verwachten we gesprekken over continue verbeteringen op elk aspect van Application Delivery. Meer beveiliging, meer automatisering, meer functionele gemakkelijkheden en veel meer serverless!

Of ben je meer geïnteresseerd in Machine Learning Engineering, Risk Management in Data Applications, het testen van automatisering & monitoring van Data Pipelines en Data Engineering op moderne infrastructuren? Dan is ITNEXT Summit 2021 een evenement dat je moet bezoeken!

Het programma en de inhoud van de ITNEXT-top 2021 kunnen aan verandering onderhevig zijn.

ITNEXT Summit 2021

alex-machado-80sv993lUKI-unsplash.jpg

Leave your legacy systems behind by unleashing the power of the cloud

Laat legacy-systemen achter je door gebruik te maken van de kracht van de cloud

Cloud Migration

Cloud Migratie

mobile-web-overlay.jpg

Performant mobile-first web applications according to the latest standards

Geoptimaliseerde mobile-first web applicaties volgens de laatste standaarden

Web Development

Één of twee keer per jaar schuiven we bij LINKIT de bureaustoelen de gang op en maken we plaats voor de schoolbanken. Acht kandidaten die de zeer zware voorselectie hebben overleefd leren dan tijdens onze bootcamp in sneltreinvaart de beginselen van data engineering. Vervolgens worden ze gekoppeld aan een potentiële werkgever waar ze een jaar lang aan de slag gaan. Vervolgens hebben ze de keuze om daar vast in dienst te gaan, of bij LINKIT te blijven. Één van hen is voormalig assistent professor Inan Ates. Hij gooide vorig jaar zijn carrière om en ging van een Turkse universiteit, via de bootcamp aan de slag bij ASML. Hoog tijd voor een terugblik op een veelbewogen jaar. 

###In het diepe gegooid

“Tough but nice”, zo omschrijft Inan zijn eerste jaar als data engineer in een paar woorden. “De bootcamp gaf weliswaar een goede introductie in de belangrijkste aspecten van data engineering, maar bereidde me maar deels voor op de uitdagingen waar ik vervolgens bij ASML tegen aan liep. Eigenlijk alle technologie waar ik bij ASML mee moest werken was nieuw voor mij. Om een voorbeeld te geven: we leerden tijdens de bootcamp wel over Kafka, maar toen ik bij ASML direct tegen een Kafka probleem opliep, was het een hele uitdaging om het probleem op te lossen.”

###Selecteren op leervermogen

Interessant genoeg is dat juist wat LINKIT voor ogen had. De kandidaten werden van tevoren niet geselecteerd op hun al aanwezige kennis van data engineering en coderen, maar op hun vermogen om nieuwe dingen te leren. Waren ze bijvoorbeeld al thuis in Java, dan moesten ze een opdracht in .Net of Python uitvoeren en vice versa. In een week tijd moesten ze zelfstandig een nieuwe programmeertaal te leren om daarin een applicatie te bouwen. Het belangrijkste beoordelingscriteria was hoe ze deze enorme uitdaging te lijf gingen en hoe snel ze kennis konden absorberen. Uit ongeveer 100 aanmeldingen werden de acht besten vervolgens geselecteerd voor de bootcamp. 

###Senior als leerversneller

Om de uitdaging niet al te zwaar te maken,  gingen Inan en zijn twee medebootcampers niet in hun eentje naar ASML. Ze werden vergezeld door senior Thiago de Faria, die onder andere als opdracht had om te zorgen dat ze doorgingen waar ze tijdens de bootcamp aan waren begonnen: in sneltreinvaart data engineering in de vingers krijgen. 

Inan lacht als hij ernaar gevraagd wordt. “Thiago zorgt er zeker voor dat wij scherp blijven,” legt hij uit. “Hij stelt ons continu vragen waarop we het antwoord meestal niet weten.”

###Snel resultaat

Het afgelopen jaar was dan ook zeer leerzaam voor Inan. “Bij ASML ben ik vooral bezig geweest met het afronden van een eerder uitgevoerde data migratie. Voor de afronding hadden ze extra handen nodig, dus daar kwamen mijn collega’s en ik  in beeld. ASML vond het vooral belangrijk dat we snel meters maakten en resultaat boekten. Om meer uitdaging in het werk aan te brengen mogen we nu ook deels in Scala gaan programmeren, in plaats van met Python. Ik vind dat zelf ook een flinke verbetering. Met Scala kun je data efficiënter toepassen en loggen. Bovendien is het naar mijn idee betrouwbaarder dan Python.”

###Uniek aanbod LINKIT

Ook voor ASML was het afgelopen jaar zeer leerzaam. Voor hen was het interessant om te zien hoe een team van drie nieuwbakken data engineers en een senior bij hen zou functioneren. Volgens Koen Hendrickx, manager Big Data & Advanced Analytics bij ASML, was de aanvulling zeer waardevol. “Ervaren Data Engineers zijn om te beginnen schaars,” legt hij uit. “Daar komt bij dat je mensen wel kunt leren programmeren, maar daarmee heb je jouw bedrijfsprobleem nog niet opgelost. Door een senior bij de juniors te zetten, kunnen de juniors heel snel leren in de juiste context (van ASML) waardoor ze sneller de juiste oplossingen weten te vinden. Hierdoor levert LINKIT niet gewoon wat extra handen, maar lossen ze echt een probleem voor ons op.”

###Uitdaging

“Als ik kijk naar de verwachtingen die ik voor de bootcamp had, zijn die ook echt wel uitgekomen.” zegt Inan. “Zo wilde ik mijzelf uitdagen en dat is zeker gelukt,” zegt hij met gevoel voor understatement. “Voor de bootcamp werkte ik als assistent professor en was ik bezig met een master in computer science. Die laatste is helaas gesneuveld,” zegt hij met een grijns. “De bootcamp, met ASML daar achteraan, was te zwaar. Het nam al mijn tijd in beslag.”

###Omgaan met druk

Een tweede punt waar Inan zich in wilde uitdagen, was het omgaan met druk en stress. “Als data engineer werk je continu onder druk. Er is altijd wel een nieuw probleem, waarvoor je heel snel een oplossing moet zien te vinden. Dan weer is er iets aan de hand met een pipeline, of is er een probleem met een platform. Soms kom je daaruit en soms faal je. Gelukkig mag dat ook. Het belangrijkste is dat je met die druk om kan gaan en dat is bij mij gelukkig zo.”

###Motivatie vereist

Het is duidelijk dat het volgen van de bootcamp en het doorstaan van het daaropvolgende jaar wel een prijs heeft. “Ik zit nog steeds ieder weekend te studeren om mijn kennis bij te spijkeren,” geeft Inan aan. “Je moet echt wel gemotiveerd zijn om dit werk te willen doen. Het komt zeker niet vanzelf.”

###De keuze
 
Tot slot is er nog één belangrijke vraag over. Gaat Inan straks volledig in dienst bij ASML, of blijft hij bij LINKIT? “Ik neig naar ASML ,” antwoordt Inan. “Ondanks alle druk heb ik het namelijk echt super goed naar mijn zin daar. Tegelijkertijd bevalt LINKIT ook prima. Het is hoe dan ook een moeilijke keuze.”

###Ze zitten al bij de club
 
Bij ASML zijn ze daar al uit. Koen: “Ze zijn met de insteek aangenomen om in dienst te gaan en wat ons betreft worden ze werknemers. Als ze dat zelf willen natuurlijk. Op die manier behandelen we ze overigens ook nu al. Ze hebben bijvoorbeeld blauwe batches terwijl ‘externen’ een groene batch hebben. Ook worden ze uitgenodigd voor interne events. Ze zitten dus eigenlijk al bij de club en hopelijk blijft dat zo!” 
 
*Kan jouw bedrijf ook nog wel wat data engineers gebruiken? Meld je dan aan als partner voor de volgende bootcamp van LINKIT. Neem contact met ons op voor meer informatie.*


inan.png

Het kan, met de LINKIT bootcamp  

Van assistent professor tot gewaardeerde data engineer bij ASML 

Als één van LINKIT’s meer ervaren Cloud professionals kijkt Anthony  Potappel niet snel op van een uitdaging meer of minder. Maar het opzetten van een eigen Kafka service voor een pilot applicatie op de AWS Cloud, dat was ook voor hem een forse uitdaging. Een kleine maand werkte hij bij een verzekeraar mee aan deze bijzondere en uitdagende opdracht. Voor hen een mooie eerste stap in de richting van het realiseren van de lange termijnplannen van het bedrijf, waarbij het grootste gedeelte van de infrastructuur op de AWS Cloud moet gaan draaien.

###Wat is Kafka?

Kafka, officieel Apache Kafka, is een open source streaming platform, ontwikkeld door LinkedIn. Het wordt tegenwoordig op grote schaal gebruikt als een soort van man-in-the-middle bij het verwerken van realtime datafeeds. Gebruikers kunnen zich abonneren op datafeeds en vervolgens gegevens realtime publiceren op meerdere systemen of applicaties. Voorbeelden hiervan zijn het matchen van passagiers en voertuigen bij Uber, of realtime analyses voor onderhoud bij Shell.  

###Koppelen van applicatie met SaaS-dienst

Het grootste probleem waar Anthony tegenaan liep, was het koppelen van de nieuwe applicatie met met een SaaS-dienst van een derde partij. Daarvoor was een publiek endpoint nodig, waarvoor een Kafka cluster gebruikt werd. Een uitdaging, omdat de Amazon’s Managed Streaming for Apache (MSK) maar via één VPC netwerk of VPN werkt. Dit werd helaas niet door de SAAS-partij ondersteund.

###Kokerellen in de AWS keuken 

Daarentegen biedt AWS wel een zeer uitgebreid bouwpakket, bouwblokken en automatiseringsgereedschappen om zelf een service in elkaar te zetten, op basis van een eigen recept. En dat is waar Anthony mee aan de slag gegaan!

###Enorm veel componenten

Het zelf ontwikkelen van een eigen Kafka service is echter geen alledaagse klus. Zo zijn er enorm veel componenten die verwerkt moeten worden. Denk daarbij aan een Elastic Compute Cloud (ECS) met Autoscaling, SSM-Parameter Store, Route53, PrivateCA en Lambda functions. De gecreëerde omgeving wordt vervolgens via een VPN ontsloten naar een tweede AWS-account, met een firewall, Intrusion Detection en Prevention Systems. Pas na al deze acties wordt het endpoint publiekelijk doorgezet. Een flinke lijst aan ondoorzichtige termen dus, waarbij alles moet kloppen. 

###Voor-en nadelen van een eigen service

Het zelf toepassen van al deze componenten op één service bracht zowel voordelen als uitdagingen met zich mee. Zo biedt ECS als voordeel dat er voor Kafka standaard Confluent images gebruikt kunnen worden. Die moeten echter nog wel van een extra security-patch worden voorzien, zodat (automatisch gegenereerde) wachtwoorden via een SSM Parameter Store ingeladen kunnen worden. Om de data veilig van het ene AWS account naar het andere te  transporteren is portmapping gebruikt. Helaas voor Anthony is dat een feature die nog niet in de standaard MSK dienst zit van AWS, waardoor deze handmatig moest worden ingesteld.  

###PrivateCA

Wat dit project voor Anthony vooral speciaal maakte was het PrivateCA component. PrivateCA wordt gebruikt om de uitgifte van (SSL-) sleutels te regelen, zodat Kafka-nodes onderling veilig kunnen communiceren en alleen de applicatie toegang heeft tot het cluster.

Alleen ging het opzetten hiervan niet zonder slag of stoot. PrivateCA is namelijk een van de weinige diensten van AWS die niet volledig kan worden opgebracht via CloudFormation. Het belang van CloudFormation is dat je via één recept kunt uitrollen op 4 omgevingen van de OTAP ontwikkelstraat, waardoor veel tijd en moeite wordt bespaard. 

###Python Lambda’s

Om dit op te lossen schreef Anthony in Python Lambda’s die (via AWS SDK) de juiste API’s aanroepen, een PrivateKey genereren en vervolgens uploaden naar AWS. Uiteindelijk is de gevraagde omgeving nu 100 procent via CloudFormation geautomatiseerd volgens de AWS Infra-as-code standaard!

###Een hele prestatie!

Ondanks de vele hierboven genoemde uitdagingen, slaagde Anthony erin om in minder dan een maand de benodigde configuratie code en bijbehorende documentatie op te leveren. Een hele prestatie! Waar hij ook met recht trots op is. De omgeving wordt nu getest en Anthony springt af en toe bij voor extra support. Na deze fase verwacht hij dat de service zonder problemen zelfstandig kan draaien. 

###Afronding

Doordat Anthony samen met het team van de klant werkte en de applicatie goed heeft gedocumenteerd, heeft de klant nu de mogelijkheid om zelf verder aan de slag te gaan. 

Zo past dit project perfect binnen de LINKIT manier van werken: in een transparante en pragmatische aanpak samenwerken met de klant om zo een business gedreven oplossing te vinden. Met kennisdeling in de hoofdrol!

*Sta jij ook voor een AWS uitdaging? En kun je wel wat extra advies gebruiken? Anthony komt graag met veel enthousiasme zijn AWS ervaring met je bespreken.*


taylor-vick-M5tzZtFCOfs-unsplash.jpg

Het creëren van een eigen Kafka service ondanks een berg aan uitdagingen   

Binnen een maand op weg naar een volledig geautomatiseerde infrastructuur op de AWS cloud

Het beroep van data engineer is relatief nieuw, maar wel zeer gevraagd bij het toenemende aantal bedrijven dat met data in de weer is. Bovendien is er (nog) geen officiële opleiding, waardoor het voor nieuwe data engineers vooral belangrijk is om in snel tempo veel relevante ervaring op te doen. Bij LINKIT voorzien we met onze unieke bootcamp voor data engineers in deze behoefte. Veelbelovende talenten krijgen direct een contract, leren in acht weken de basis van data engineering en gaan vervolgens één jaar lang aan de slag bij een gerenommeerde werkgever om de fijne kneepjes van het vak te leren. Daarna mogen ze zelf kiezen of ze daar in vaste willen, of liever bij LINKIT blijven. 

###Veel animo

Deze methode vraagt behoorlijk veel van de kandidaten. Dat begin al tijdens de selectieprocedure. Gemiddeld hebben we tussen de 100 en 150 aanmeldingen en slechts plaats voor acht. Omdat het leren van data engineering een enorm steile leercurve vraagt, selecteren we minder op de al aanwezige vaardigheden, maar op leerbaarheid. 

Dit zie je ook duidelijk terug in de proefopdracht. Iedere kandidaat moet deze in een, voor hem of haar onbekende, programmeertaal uitvoeren. Daarbij moeten ze continu bijhouden welke stappen ze nemen en vooral hoe ze de opdracht proberen uit te voeren. 

###Leren en direct toepassen

Het resultaat is vervolgens niet van belang. Wel hoe snel de kandidaat in staat is om nieuwe materie als het ware te absorberen én direct toe te passen. Dat is namelijk in de kern wat we van onze data engineers verwachten. 

Ondanks dat de meeste deelnemers wel een achtergrond in de IT of in de techniek hebben, is de bootcamp hierdoor breed toegankelijk. Zo hebben we ook mensen met een achtergrond in biologie of sales. 

###Onderdelen bootcamp

De bootcamp zelf bestaat uit zes weken les, die vervolgens worden afgesloten met een Capstone Project van twee weken. In deze twee weken zullen ze, met alle nieuwe opgedane kennis, een vraagstuk van een klant in teams oplossen. Onderwerpen die onder andere voorbijkomen in de bootcamp zijn: Python, Scala, Docker, Spark, Kafka, SQL en NoSQL en werken vanuit de Agile methode. 

###Speeddates

Na een aantal weken staat het, voor sommigen, spannendste onderdeel op de planning: de speeddates. LINKIT werkt voor de bootcamp samen met een aantal partners waarbij de deelnemers na afloop van de bootcamp junior data engineer aan het werk gaan, waaronder bedrijven als Shell, ASML en Transavia

###Het vervolg

Zowel de deelnemende bedrijven als de bootcampers kunnen na de speeddates een voorkeur opgeven. Aan de hand daarvan wordt een passende match gemaakt. Hier houdt de bootcamp echter niet op, maar begint het leertraject pas echt. De bootcamp voorziet in een basis, maar in veel gevallen blijft het noodzakelijk voor de nieuwe data engineers om zich in sneltreintempo nieuwe technieken, kennis en werkmethodes eigen te maken. Deels doen ze dit zelfstandig, maar ook onder begeleiding. Het eerste jaar moet er altijd een senior data engineer aanwezig zijn. Ten eerste om de kwaliteit te bewaken, maar ook te verzekeren dat de bootcampers hun steile leercurve voortzetten bij het bedrijf waar ze gedetacheerd zijn. Is deze bij de partner niet beschikbaar, dan kan LINKIT die zelf ook meesturen. 

*LINKIT organiseert één a twee keer per jaar een bootcamp. Zit jouw bedrijf te springen om nieuwe junior data engineers? Neem dan contact met ons op en vraag naar de mogelijkheden om deel te nemen. Ben je benieuwd naar een voorbeeld uit de praktijk? Lees dan [deze business case](/cases/Van-assistent-professor-tot-gewaardeerde-data-engineer-bij-ASML) over de samenwerking tussen bootcamper Inan en ASML.*


P1010910.jpg

Data engineer in 8 weken met de LINKIT bootcamp

Volgens velen is data het nieuwe goud. Het goede nieuws daarbij is dat het overal beschikbaar is. Ook voor het MKB is het inmiddels makkelijk om data te verzamelen van websites, apps en social media. Maar, net zoals een goudklomp, is data vrijwel waardeloos zonder bewerking. Om jouw data echt waarde te geven heb je een datawarehouse nodig, waarschijnlijk vergezeld door een datalake. Misschien denk je nu dat dit te hoog gegrepen is voor jouw bedrijf, maar niets is minder waar! 

###Digitale fabriek

Een datawarehouse werkt in veel opzichten als een digitale fabriek. Het warehouse bestaat uit een replicatie van al je operationele data, die vervolgens verwerkt kan worden tot bruikbare inzichten voor Business Intelligence (BI), applicatietesten en het uitvoeren van analyses. 

###Verschil tussen datawarehouse en datalake

Om het verschil tussen deze twee termen te begrijpen, moet je iets van de werking van data weten. Plat gezegd komt data voor  in drie smaken: gestructureerd, ongestructureerd en semigestructureerd. Een datawarehouse kan worden gebruikt om gestructureerde data te verwerken. Bijvoorbeeld applicatiedata, excel sheets en iedere vorm van RDBMS (Relational Database Management System). 

Tegelijkertijd is veel data juist niet gestructureerd, bijvoorbeeld gps-locaties die je binnenkrijgt via je webapp of social media. Om hier toch inzichten uit te halen, moet je ze eerst structuur geven. Dat kun je doen door deze data te verzamelen in een datalake (Big Data technologie platformen) en ze vervolgens te structureren door middel van specifieke applicaties. Daarna kan de data gebruikt worden in je datawarehouse via een OLAP front end (Online Analytical Processing). 

###Goede resultaten met weinig data

Misschien komen al deze termen nogal overweldigend over. Dat hoeft echter niet het geval te zijn. Zowel datawarehouses als datalakes kunnen zowel groot als klein zijn. Met de nieuwste technologie is het ook mogelijk om goed resultaten te bereiken met weinig data. Hierdoor worden datawarehouses ook interessant voor het MKB. 

###Datawarehouse te huur

Dat wordt nog verder versterkt door de mogelijkheid om een datawarehouse te ‘huren’. Daardoor hoef je geen kapitalen te investeren om je eigen datawarehouse op te zetten. Je kunt er namelijk ook één in de Cloud gebruiken, waarbij je alleen betaald betaalt naar verbruik. Zowel Azure, Google en AWS zijn daarvoor geschikt. Het enige wat je verder nodig hebt is een applicatie om de data in te zien. 

Het is een perfecte manier om te starten met het gebruik van Business Intelligence. Zo kan het zijn waarde bewijzen, voordat je eventueel opschaalt naar Big Data platformen voor de meer complexe analyses. 

###Hybride oplossing

Voor veel grotere bedrijven is de Cloud juist geen optie. In veel gevallen bestaan deze bedrijven al vele tientallen jaren (of langer). Dat betekent dat ze in veel gevallen zwaar hebben geïnvesteerd in hun eigen datastructuur. Voor hen is de beste oplossing om een hybride oplossing te kiezen, waarbij je ruimte in de Cloud alleen gebruikt tijdens piekmomenten om een tijdelijke hoge vraag naar computerkracht op te vangen.   

*Bij LINKIT hebben we enorm veel ervaring in het opzetten van datawarehouses en alles dat daarbij hoort. We hebben zelfs [een eigen opleidingstraject](/articles/Data-engineer-in-8-weken-met-de-LINKIT-bootcamp) voor data engineers. Of je nu [een expert nodig hebt](/cases/Binnen-een-maand-op-weg-naar-een-volledig-geautomatiseerde-infrastructuur-op-de-AWS-cloud) voor het opzetten van een datawarehouse in de Cloud, of een hooggekwalificeerde versterking voor je development team, LINKIT kan je ondersteunen! Neem contact op met één van onze experts voor meer informatie.*


chuttersnap-BNBA1h-NgdY-unsplash.jpg

Waarom je geen Amazon hoeft te zijn om te profiteren van een datawarehouse

Er zijn nog maar weinigen die onbekend zijn met AI en machine learning. De voordelen van het invoeren van predictive maintenance en automatische kwaliteitsinspectie kunnen enorm groot zijn voor je bedrijf. Maar ondanks dat… Wees voorzichtig bij het betreden van deze wereld. Het is er eentje met slechts weinig regels, veel onontdekt gebied, maar met een enorm potentieel. Welkom in het wilde westen van de Artificial Intelligence. 

###Vergeet de logica

In vrijwel iedere situatie werkt IT volgens een bepaalde logica. Als je dit invult, of dit doet, dan gebeurt dit, krijg je dit te zien of beweegt dit. AI werkt totaal anders. Vergeet de logica, bij AI gaat het om patronen. Onderzoek dit en kijk wat er gebeurt. Vind je een patroon, dan heb je wellicht goud in handen. Maar zo niet… probeer het dan nog eens. 

###Wat probeer je eigenlijk op te lossen?

Deze ‘trial en error’ manier van werken is zeer tijdsintensief en daardoor ook behoorlijk prijzig. Om het leven van je data engineers nog een beetje overzichtelijk te maken, is dan ook zeer belangrijk om hen van de juiste specificaties te voorzien. Welk probleem probeer je op te lossen? Wat wil je bereiken? En, zeer belangrijk, is AI daarbij echt de beste oplossing?

###Doe gewoon iets!

Als een data expert aan de slag gaat met alleen jouw vereisten gaat het vaak mis. Vergelijk het maar met alsof jouw baas aan je vraagt om een verhaal te schrijven. Gewoon een verhaal. Uiteraard vind je dat geen probleem, maar om het uit te kunnen voeren heb je meer informatie nodig. Het onderwerp bijvoorbeeld. En hoe lang moet het worden? In welke schrijfstijl? Enzovoorts. Dezelfde vlieger gaat op voor het succesvol implementeren van een AI oplossing voor jouw fabriek of industrie. Zonder de juiste details is het vrijwel onmogelijk om het juiste resultaat te behalen en loop je forse (financiële) risico’

###Om de kans op succes te vergroten kan het volgende helpen:

-	Vraag jezelf de juiste vragen: is AI echt wat ik nodig heb? Is de potentiële winst hoog genoeg ten opzichte van de risico’s die horen bij de implantatie van AI? Net zoals in het echte wilde westen is er geen garantie op succes. In ieder geval niet in het begin. 
-	Werk iteratief. Start met een strategie en een concept. Ga vervolgens verder met de bouw van een PoC (Proof of Concept) om er achter te komen of jouw concept realistisch is (trial en error). Pas daarna druk op je de grote rode knop voor het ontwikkelen van een MVP (Minimum Viable Product).
-	Om de kans op een mismatch te verkleinen, is het belangrijk dat het data team zo nauw mogelijk samenwerkt met de (toekomstige) hoofdgebruikers.

###Goede samenwerking is cruciaal

Om dit punt te verduidelijken: bij LINKIT hanteren we de slogan ‘building it together’. Dat doen we niet voor niets. Zeker als het gaat om het implementeren van een complexe AI oplossing is goede samenwerking cruciaal. Om terug te komen op het ‘zomaar’ schrijven van een verhaal. Met AI zijn er altijd vele, vele factoren waar je rekening mee moet houden. En om het nog moeilijker te maken zijn deze factoren in iedere situatie weer anders. Dingen zoals het weer, verlichting, machinespecificaties en zelfs hoe mensen die gebruiken zullen de uitkomst van het onderliggende algoritme beïnvloeden.

Alle informatie krijgen die je nodig hebt, is daarom enorm belangrijk voor een data scientist of engineer. Een goede samenwerking met onder andere de machine operators- en beheerders is dan ook de sleutel om het gewenste resultaat te behalen. Want hoe ruiger de omgeving, des te meer je van elkaar afhankelijk bent. 

*Wil je meer weten over de ‘hoe’ van het implementeren van AI en machine learning in een industriële setting? Lees dan ook onze whitepaper ‘van ongestructureerde data tot waarde voor je bedrijf’. Of bel met één van onze experts voor meer informatie.* 


monument-valley-1235223_1920.jpg

Welkom in het wilde westen van de Artificial Intelligence

De data engineer is in toenemende mate de zeer gewilde allrounder in de data-industrie. Of het nu gaat om het bouwen van pipelines, of het verhelpen van platformproblemen, de data engineer kan het voor je regelen. Aan de andere kant is er (nog) geen officiële scholing om data engineer te worden. Ervaring is dus het allerbelangrijkst en er is overduidelijk meer dan één route om data engineer te worden. Door dit alles is het lastig bepalen of je de echte expert te pakken hebt. Wil je het zeker weten? Maak dan gebruik van deze checklist! 

###1.	Een data engineer moet jouw data science team kunnen ondersteunen

Geen enkele data scientist kan de data van jouw bedrijf omzetten in bruikbare inzichten, zonder een staaltje van goede data engineering achter de schermen. Een data engineer moet begrijpen welke data een data science team nodig heeft en deze kunnen voorbereiden en kunnen leveren. 

###2.	Een data engineer moet jouw data platform kunnen (door)ontwikkelen

De kerntaak van een data engineer is het maken van data pipelines die betrouwbaar en efficiënt data leveren voor analyse. Het verwerken van al die data om er iets bruikbaars van te maken is een grote uitdaging. 

Om dit aan te kunnen, moet een data engineer in ieder geval een uitstekende programmeur zijn. De belangrijkste programmeertalen zoals Python, Java en Scala moeten voor hem of haar geen geheim zijn. Daarnaast kan een goede data engineer overweg met zowel relationele als non-relationele databases, cloudinfrastructuur en distributiesystemen. Daar bovenop moeten ze om kunnen gaan met big datatools zoals Hadoop, Spark en Airflow. Deze worden gebruik voor de extractie, het transport en het inladen (ETL) van big data op een makkelijke en geautomatiseerde wijze. 

###3.	Een data engineer moet sociaal zijn en communicatief vaardig

Een data engineer werkt vrijwel altijd binnen een team. Iemand inhuren die technisch briljant is, maar onmogelijk om mee samen te werken, gaat vrijwel zeker niet werken. Wat dat betreft is het tijdperk van de nerd IT’er echt wel over. Sociale- en communicatieve vaardigheden zijn voor veel bedrijven inmiddels net zo belangrijk als technische kennis en kunde. Een goede data engineer is in staat om zijn of haar plannen en ideeën op een begrijpelijke manier uit te leggen aan iedere belanghebbende binnen het bedrijf. 

###4.	Een data engineer staat open voor nieuwe uitdagingen en is altijd bereid om door te leren en zichzelf te verbeteren. 

Geen enkele dag is ooit hetzelfde voor een data engineer. Hij of zij moet in staat zijn om veel te kunnen begrijpen. In veel gevallen komt een engineer onbekende, maar dringende uitdagingen tegen waardoor hij of zij in staat moet zijn om snel nieuwe kennis te vergaren en deze om te zetten in een werkende oplossing. 

Daar komt bij dat de belangrijkste gereedschappen en technieken waarmee een data engineer werkt nog volop in ontwikkeling zijn. Om relevant te blijven moet een data engineer daarvan op de hoogte blijven en nieuwe inzichten integreren in zijn werkmethode. Om kunnen gaan met stress en open staan voor nieuwe uitdagingen zijn zeker belangrijke voorwaarden om een succesvolle data engineer te zijn. 

*Ben je er nog steeds niet zeker van dat je de juiste data engineer hebt gevonden? LINKIT heeft meer dan 20 jaar ervaring als kennispartner waarbij we bedrijven, zoals KLM en ASML, de kennis leveren die zij zelf niet in huis hebben. Heb jij behoefte aan een betrouwbare data engineer? Wij kunnen zeker helpen! Neem contact op met één van onze experts voor meer informatie.*

P1010653.jpg

Dit is wat een data engineer moet kunnen doen!

Een Data Engineer bij LINKIT houdt zich bezig met het adviseren over, bouwen en onderhouden van Big Data platforms en daarom helpen bij het industrialiseren van data science oplossingen/modellen in enterprise omgevingen. We zijn platform agnostisch en hebben te maken met omgevingen on-premises of in public clouds. Daarbij zijn wij niet sterk afhankelijk van specifieke tools of technologie&euml;n. Ben jij een onafhankelijke engineer wiens kennis en ervaring bijdraagt aan de groei van onze collega&#39;s en klanten? Join the team!<br><br><b>Wat kan je verwachten:</b><br><br><ul><li>Werk aan 1 project per keer  geen overloading.</li><li>Gebruikt ten minste 10% van je tijd (een dag in de twee weken) om met je team/squad samen te komen, te leren en gave dingen te ontwikkelen.</li><li>Een groot deel van je werkzaamheden zal bestaan uit het praten met de business om hun problemen op te lossen. Dus niet alleen maar coderen.</li><li>Agile teams en omgevingen.</li><li>Een omgeving die ondersteund in het continu leren en het nemen van risicos.</li><li>Het bijwonen van technische conferenties - Dataworks Summit, Strata, SparkAI, ScalaDays, </li><li>Ondersteuning bij het spreken op meetups/conferenties en bij het schrijven van technische artikelen.</li></ul><br>