Een goede klant van ons was aan de slag gegaan met Microsoft Power BI. Na verloop van tijd kwam het besef dat de weg die ze waren ingeslagen niet houdbaar was. In een korte periode waren veel rapporten gerealiseerd. Door de snelheid van de realisatie was er te weinig aandacht besteed aan de het onderhoud van de rapporten. Tijd om ze op te schonen en te verbeteren was er niet. Voor het genereren van de rapporten waren bovendien handmatige handelingen nodig op de laptop van een medewerker. Daarmee was er te veel afhankelijkheid van één persoon. Daarom besloten ze om toch een volledige datawarehouse oplossing te implementeren. Aangezien wij als Etesian ook al de website ontwikkelen en beheren, vroegen zij ons om ook dit datawarehouse project met meerdere van onze consultants vorm te geven. In deze blog lees je hoe wij dat hebben opgepakt.
Te veel informatie
Alleen al voor de afdelingen Marketing en E-commerce zijn ruim 100 Power BI rapporten gemaakt waarin zij door de bomen het bos niet meer zagen. Bovendien bevatten al deze rapporten niet alle stuurinformatie waarover de Marketing afdeling graag zou willen beschikken. Ook andere afdelingen wisten niet meer om te gaan met de overvloed aan informatie. Door de creatieve inborst van medewerkers en toepassing van huisstijl en logo waren het fraaie rapporten geworden, maar de indeling verschilde nogal per rapport. Het werd langzaamaan zaak om te optimaliseren, rapporten gebruikersvriendelijk te maken en herijken van de informatiebehoefte.
De handmatige werkzaamheden die nodig waren voor het genereren van de rapporten vormden een risico. Mocht deze medewerker uitvallen dan was geen overdracht mogelijk en valt de rapportageproductie stil. Data uit het bronsysteem verzamelen en opslag vonden plaats in een AWS (Amazon Web Services) omgeving. Hierdoor zijn extra veelal handmatige handelingen nodig om de data klaar te zetten in de Azure (Microsoft) omgeving voor gebruik door Power BI. De klant zag dit als een aanzienlijk risico voor de lange termijn en heeft ons om advies gevraagd.
Azure Data Factory
We hebben de klant geadviseerd, een projectplan opgesteld en dit opgepakt met meerdere consultants. Allereerst is een back-up van de brondata uit AWS overgezet op een SQL Server database in een eigen Azure omgeving. Vervolgens wordt alle benodigde data voor Power BI geladen in een Azure datawarehouse. Dit laden gebeurt met behulp van data pijplijnen in Azure Data Factory. Dat is een component van Azure waarmee data van de ene naar andere database gekopieerd kan worden en eenvoudig in te stellen is. Voor dit project hebben we in de Azure Data Factory een aantal best practices meegenomen:
- Per object (binnen de bron) een enkele pijplijn;
- Snel laden, om bronsystemen minimaal te belasten;
- Incrementeel laden, om grote gegevensobjecten niet elke keer volledig in te laden.
Voordeel van de ondersteuning met Azure Data Factory is dat geen handmatige acties meer nodig zijn om Power BI rapporten te verversen. Dit gebeurt rechtstreeks in Power BI Service aangezien nu ook de brondata online, dus in Azure, staat. Bijkomend voordeel is dat diverse andere handmatige werkzaamheden overbodig zijn geworden. Ook is de rapportenproductie minder afhankelijk van een specifieke persoon aangezien alle voorbereidingen van data voor gebruik in Power BI online plaatsvinden.
Vermindering van het aantal rapporten
Door automatisering van datastromen aan de ‘achterkant’ kunnen we de hoeveelheid Power BI rapporten voor de Marketing afdeling drastisch verminderen. Dat levert ruimte en inhoud op voor verdere afstemming over de informatiebehoefte aan de ‘voorkant’. Doordat definities nu eenduidig zijn, stelt het de klant in staat om de kracht van Power BI in te zetten. Dit resulteert in dashboards die op visueel aantrekkelijke wijze inzicht geeft in de bedrijfsvoering. De klant kan stuurinformatie gebruiken waar het voor bedoeld is: handelen naar inzicht uit data.
Dit project met Power BI en Data Factory loopt gestaag. We vertellen je er graag meer over.
