100+ Qlik Cloud-tenants inrichten met een OEM-abonnement

Een van de mooie kanten van de Masters Summit for Qlik is dat ik naast het lesgeven altijd de kans krijg om iets nieuws te leren. Voor het evenement van vorig jaar in Wenen hebben we 80% van ons lesprogramma vernieuwd, met veel aandacht voor Qlik Cloud. Om deelnemers de volledige cloudervaring te bieden, kreeg iedereen een eigen Qlik Cloud-tenant. Ik was verantwoordelijk voor het inrichten van deze 100+ tenants. Het was een leerzame taak die veel voldoening gaf en die ik dit jaar met plezier opnieuw heb uitgevoerd voor ons evenement in Hamburg. In deze blogpost deel ik enkele ervaringen, observaties en lessen die ik onderweg heb opgedaan.

De uitdaging

Qlik Cloud OEM

We legden dit plan voor aan Qlik, waarna zij ons ruimhartig een OEM-proefabonnement aanboden. Daarmee konden we voor iedere cursist een afzonderlijke tenant aanmaken. Mijn volgende taak was om ongeveer 100 identieke tenants in te richten, met als doel het handmatige werk zo veel mogelijk te beperken.

Wat is Qlik Cloud OEM?
Qlik Cloud OEM is de versie van Qlik Cloud die is ontwikkeld voor partners die op grote schaal analyticsomgevingen moeten inrichten, beheren en integreren. In plaats van één tenant voor één organisatie kunnen met een OEM-abonnement programmatisch veel geïsoleerde Qlik Cloud-tenants worden aangemaakt en beheerd, elk met eigen gebruikers, apps en dataverbindingen.

Waar een reguliere Qlik Cloud Enterprise-klant één centrale tenant voor intern gebruik heeft, werkt een OEM-partner op een hoger niveau en creëert deze afzonderlijke Qlik-omgevingen voor eindklanten, trainingsdeelnemers of applicatiegebruikers. Dit model biedt volledige isolatie tussen tenants, terwijl centraal beheer, automatisering en implementatie mogelijk blijven.

Het plan

Het oorspronkelijke plan was eenvoudig: de instructeurs van de Masters Summit for Qlik zouden hun materiaal ontwikkelen in een centraal gedeelde tenant. Vervolgens zouden we automatiseringen maken om de lege tenants aan te maken en het materiaal daarover te verdelen. Zodra het materiaal definitief was, zou het naar elke tenant worden gekopieerd. Tot slot zouden we aan elke tenant een student toewijzen en uitnodigingen voor toegang versturen.

Al met al moesten we veel verschillende artefacten aanmaken en distribueren, waaronder:

Tenants aanmaken

Ik gebruikte Qlik Automate en de connector Qlik Platform Operations om een automatisering te bouwen waarmee de tenants worden aangemaakt (hieronder gedeeltelijk weergegeven).

Naast het aanmaken van de tenants doet deze automatisering ook het volgende:

• Informatie over elke aangemaakte tenant opslaan in een woordenlijst (daarover later meer)

• Alle instructeurs van de Masters Summit for Qlik als beheerder aan de tenant toevoegen, zodat zij toegang hebben tot de tenant en studenten waar nodig kunnen ondersteunen.

• Een alias voor de tenant instellen die voor de student gemakkelijker te onthouden is (en gemakkelijker met instructeurs kan worden gedeeld). Bijvoorbeeld: masterssummit-123.de.qlikcloud.com in plaats van iyj7m6znw3ispc6.de.qlikcloud.com

• De huisstijl van de Masters Summit for Qlik toepassen op de tenant.

Tenantinformatie opslaan

Een van de eerste ‘valkuilen’ waarop ik stuitte bij het aanmaken van tenants, is dat het kan lijken alsof ze in het niets verdwijnen als je de tenantinformatie niet direct opslaat. Dat is niet echt het geval, want ze staan altijd in de tenantlijst in je “My Qlik“-profiel. Maar daar heb je niet veel aan als je ze programmatisch wilt benaderen.

Begrippenlijsten gebruiken als geïmproviseerde database

Omdat ik de metadata van tenants ergens moest opslaan, besloot ik een bestaande functie in Qlik Cloud voor een ander doel te gebruiken: een Qlik-begrippenlijst. Een Qlik-begrippenlijst wordt normaal gesproken gebruikt om binnen een Qlik Cloud-tenant bedrijfstermen, hun definities en bijbehorende metadata vast te leggen. De functie is bedoeld voor governance en documentatie, niet als dataopslag. Omdat begrippenlijsten aangepaste eigenschappen, tags en een API-interface ondersteunen, kunnen ze echter prima gestructureerde informatie bevatten. Door begrippen als records te behandelen, kun je zonder externe database eenvoudige gegevens opslaan en ophalen, zoals informatie over elke ingerichte tenant.

Elk begrip in de begrippenlijst bevat de hostnaam van een tenant, welke gebruiker aan de tenant is toegewezen (of niets bij niet-toegewezen tenants) en het moment waarop de tenant voor het laatst is gevuld (of ‘gehydrateerd’).

Tot zover gaat alles goed!

Het plan versus de werkelijkheid

Nadat alle lege tenants waren aangemaakt, was de volgende stap om ze te ‘hydrateren’ met de benodigde materialen. Hiervoor moest ik improviseren, want enkele hiaten in mijn oorspronkelijke plan werden al snel duidelijk:

• QVD’s die zijn opgeslagen in de catalogus / DataFiles kunnen niet eenvoudig worden geëxporteerd (niet te geloven dat ik dit over het hoofd heb gezien!)

• Apps groter dan ~ 20 MB kunnen niet via een Automation worden geëxporteerd / geïmporteerd

• En het grootste minpunt: de omslachtigheid, het eindeloze klikken en slepen en het ontbreken van eenvoudige debugging of gedeeltelijke runs maakten het werken met automations steeds frustrerender. Mijn bloeddruk heeft mogelijk gevaarlijke waarden bereikt.

Improviseren, aanpassen, overwinnen: Qlik CLI

Gelukkig biedt Qlik meerdere manieren om verbinding te maken met Qlik Cloud-omgevingen en deze te beheren. In de kern maken ze allemaal gebruik van de Qlik Cloud REST API’s; het enige wezenlijke verschil is de abstractielaag of het gebruiksgemak eromheen. De mogelijkheden lopen uiteen van rechtstreekse API-calls met bijvoorbeeld cURL of Python tot low-codeblokken in Qlik Automate. Mijn voorkeur gaat uit naar Qlik CLI, een command-line-interface voor het beheren en automatiseren van taken in Qlik Cloud- en Client-Managed-omgevingen, beschikbaar als een reeks PowerShell-commando’s.

Qlik CLI biedt een eenvoudige en voorspelbare syntaxis voor interactie met een Qlik-tenant. Bijvoorbeeld:

Deze commando’s tonen alle spaces, apps en automations waartoe je toegang hebt. Ze zijn bovendien niet beperkt tot read-onlybewerkingen; je kunt ook acties uitvoeren, zoals het herladen van een app:

qlik app reload --app "aa69d90a-4843-4486-82c8-d5b922fada4b"

In combinatie met de scriptmogelijkheden van PowerShell wordt Qlik CLI een krachtige tool om je eigen automations te bouwen. De onderstaande (vereenvoudigde) functie uploadt bijvoorbeeld alle apps in een opgegeven map naar een bepaalde space:

function Import-QlikApps {
    param (
        [string]$path,
        [string]$spaceId
    ) 

    $files = Get-ChildItem -Path $path
    foreach ($file in $files) {
        qlik app import --file="$file" --spaceId=$spaceId
    }
}

Met een verzameling hulpfuncties, waarvan ik er veel al gebruikte voor regulier tenantbeheer, werd het eenvoudig om complexere automations samen te stellen. Volgens hetzelfde principe maakte ik een script dat een nieuw aangemaakte tenant kon ‘hydrateren’ door apps te uploaden, dataverbindingen in te stellen, thema’s toe te passen en andere artefacten te herstellen. Het script kon een tenant ook ‘rehydrateren’ als er iets misging of als (wanneer!) een van de presentatoren op het laatste moment materiaal wilde toevoegen.

Qlik-tenants hydrateren

De video hierboven toont het hydratatieproces voor één Qlik Cloud-tenant. Het zou wat veel zijn om dit voor honderd tenants te bekijken, maar de stappen zijn identiek. In dit voorbeeld haalt het script de tenantinformatie op uit de begrippenlijst in de hoofdtenant en maakt het vervolgens verbinding met de doeltenant om deze te vullen. Als de tenant al eerder was gehydrateerd, worden de bestaande materialen eerst verwijderd voordat het opnieuw vullen begint.

De uitgevoerde acties omvatten het importeren van apps en data, het aanmaken van dataverbindingen, het herstellen van automations, begrippenlijsten, rapportsjablonen, thema’s en links, het herladen van apps, het verplaatsen van automations, het toewijzen van rechten voor spaces en van rollen, en het toepassen van diverse algemene tenantinstellingen, zoals de e-mailconfiguratie.

Wat voorheen dagen handmatig configureren kostte, kan nu automatisch in slechts enkele minuten per tenant worden uitgevoerd.

Observaties en overwegingen

Bij Bitmetric gebruiken we zowel Qlik Automate als Qlik CLI regelmatig om klantomgevingen uit te rollen en te beheren, waaronder lifecyclemanagement en configuratie. Het proces dat ik voor de Masters Summit bouwde, volgde dezelfde principes, maar de context was heel anders. In plaats van enkele productietenants zette en hydrateerde ik nu in korte tijd meer dan honderd tijdelijke trainingsomgevingen. Die verandering in schaal en doel leverde enkele interessante observaties op.

Gebruikersgebaseerde abonnementen en gedeelde licentiepools

Een interessante ontdekking was hoe gebruikersgebaseerde abonnementen zich gedragen in een OEM-omgeving. Gebruikers worden gedeeld tussen alle tenants binnen het abonnement. Dit betekent dat beheerders van subtenants ook nieuwe gebruikers kunnen aanmaken. Tijdens het evenement in Wenen, toen we nog een gebruikersgebaseerde proeflicentie gebruikten, konden we dit niet voorkomen. Daardoor kon elke tenantbeheerder onbedoeld de beschikbare gebruikerslicenties voor de hele omgeving opgebruiken.

Ik weet niet zeker of dit tegenwoordig nog steeds zo werkt, maar ik heb niets gezien waaruit blijkt dat dit is veranderd. Voor ons evenement in Hamburg gebruikten we een capaciteitsgebaseerde tenant. Daarmee vervalt deze beperking volledig, omdat dit model een onbeperkt aantal gebruikers toestaat.

Met CLI-scripts kun je eenvoudiger experimenteren

Werken in PowerShell met Qlik CLI bleek veel sneller en flexibeler dan Automate gebruiken. Doordat ik afzonderlijke opdrachten rechtstreeks vanaf de command line kon testen, werd het veel eenvoudiger om prototypes te maken en fouten in het proces op te sporen. In plaats van complete automatiseringen opnieuw op te bouwen en uit te voeren, kon ik één regel aanpassen, uitvoeren en direct het resultaat zien. Zo’n feedbackcyclus is van onschatbare waarde wanneer je iteratief aan iets complex werkt.

Het enige nadeel is dat je voor de implementatie van een dergelijke oplossing een extra omgeving nodig hebt waarin de scripts kunnen worden uitgevoerd, terwijl Qlik Automate al in het product is opgenomen. Toch is Qlik CLI voor eenmalige projecten, experimenten of tijdkritisch werk meestal de praktischere keuze.

Rollen en spaces snel toewijzen

Omdat dit een tijdelijke trainingsomgeving was, heb ik een paar binnenwegen genomen. In plaats van rollen per gebruiker toe te wijzen, gaf ik elke rol aan de ingebouwde groep everyone in tenant (met groeps-id 000000000000000000000001). Alleen Embedded Analytics User sloot ik uit, omdat die rol de toegang tot de Hub blokkeert. Met een snelle qlik role ls en een patch voor die groep had iedereen volledige toegang en waren er minder problemen met rechten om op te lossen. Dezelfde truc werkte ook om ‘iedereen’ de juiste toegang tot alle relevante spaces te geven. Nogmaals: niet iets wat je in productie moet doen, maar wel erg nuttig in een trainingsomgeving.

Omgaan met de beperkingen van Qlik CLI

Qlik CLI is een uitstekend hulpmiddel, maar loopt soms achter op de mogelijkheden van de Qlik Cloud API. Gelukkig bevat het de opdracht qlik raw, waarmee je rechtstreeks met elk API-endpoint kunt communiceren. Ik gebruikte deze om vastgezette links aan de tenant toe te voegen en om automatiseringen naar gedeelde spaces te verplaatsen. Het is een handige uitweg wanneer je functionaliteit nodig hebt die nog niet via de CLI beschikbaar is.

De glossary-hack hield zich verrassend goed

Een glossary gebruiken als lichtgewicht gegevensopslag werkte zelfs beter dan verwacht. Ik ga dezelfde aanpak zeker opnieuw gebruiken wanneer ik gegevens uit automatiseringen of andere scripts moet opslaan. Het enige voorbehoud is dat je erop moet kunnen vertrouwen dat de mensen in je tenant je glossary niet gaan ‘opruimen’. Het is een uitstekende oplossing voor gecontroleerde omgevingen, maar misschien niet voor omgevingen zonder toezicht van een volwassene.

Ik had ook lokale bestanden kunnen gebruiken om dezelfde informatie op te slaan en die met PowerShell te verwerken. De glossary had echter één groot voordeel: elke trainer kon eenvoudig zien welke tenant bij welke cursist hoorde door diens e-mailadres op te zoeken. Daardoor konden we deelnemers tijdens het evenement veel sneller en eenvoudiger helpen.

Qlik CLI of Qlik Automate: beide klaren de klus

Hoewel ik voor dit project Qlik CLI gebruikte, had ik alles ook met Qlik Automate kunnen realiseren. In dit geval draaide het vooral om vertrouwdheid, persoonlijke voorkeur en flinke tijdsdruk. Wanneer ik snelheid en flexibiliteit nodig heb, kies ik al snel voor scripts. Automate blijft echter een solide optie voor teams die de voorkeur geven aan een visuele aanpak.

Soms is het prima om een paar binnenwegen te nemen

Net als bij de groepstoewijzingen heb ik waarschijnlijk een paar binnenwegen genomen op het gebied van foutafhandeling, validatie en algemene robuustheid. In een productieomgeving zou ik uiteraard meer tijd aan die details besteden, maar voor een tijdelijke trainingsomgeving was dit niveau van pragmatisme prima aanvaardbaar.

Betrouwbaar en stabiel onder druk

Qlik Cloud presteerde tijdens dit hele proces vlekkeloos. Ondanks al mijn experimenten, tests en incidentele fouten kon ik niets kapotmaken wat niet eenvoudig kon worden hersteld. Reloads, imports en API-calls werkten allemaal zoals verwacht en mislukte bewerkingen waren eenvoudig opnieuw uit te voeren. Dat gaf me veel vertrouwen dat het platform grootschalige automatisering aankan zonder daarbij in de weg te zitten.

Ook de documentatie en helpfunctie binnen Qlik CLI en op Qlik.dev verdienen een vermelding. Beide zijn duidelijk en goed gestructureerd, waardoor ik eenvoudig de juiste opdrachten of API-endpoints kon vinden wanneer ik die nodig had. In de meeste gevallen was het voldoende om simpelweg --help aan een Qlik CLI-opdracht toe te voegen om verder te komen. Voor een project waarin experimenteren zo’n grote rol speelde, maakte documentatie van dit niveau een groot verschil.

Plezier in het proces

Ondanks de tijdsdruk en korte deadline vond ik het oprecht leuk om dit te bouwen. Beide keren begon ik veel te laat, maar gelukkig had ik al veel herbruikbare onderdelen beschikbaar. Sommige collega’s grapten: ‘Mooi, nu al dat saaie werk uit de weg is, kan ik aan de leuke dingen beginnen.’ Niet iedereen deelde dus mijn enthousiasme voor het automatiseringsgedeelte. En dat is prima. Wat ik zo mooi vond, was de wetenschap dat alles nu volledig was geautomatiseerd en dat zij zich volledig konden richten op het leveren van hoogwaardige inhoud aan onze deelnemers.

Maar het automatiseren van de handmatige en saaie onderdelen is ook deel van ons werk. Hoe beter we achter de schermen obstakels wegnemen, hoe meer tijd anderen kunnen besteden aan wat echt belangrijk is: inzicht en waarde creëren voor gebruikers.

Conclusie

Dit project liet opnieuw goed zien hoe krachtig Qlik Cloud inmiddels is als automatiseringsplatform. Of je nu nieuwe tenants aanmaakt, content tussen omgevingen promoveert, gebruikers beheert of lifecycle-activiteiten uitvoert: vrijwel elk onderdeel van het platform kan tegenwoordig worden geautomatiseerd. De combinatie van een robuuste API-laag, uitstekende documentatie en tools zoals Qlik CLI en Qlik Automate maakt het mogelijk om herhaalbare, schaalbare processen te bouwen die tijd besparen en fouten verminderen.

Voor OEM’s gaan diezelfde sterke punten nog een stap verder. Als je analytics in je eigen product integreert of geïsoleerde omgevingen voor klanten moet inrichten en beheren, is het OEM-model van Qlik naar mijn mening momenteel het beste aanbod op de markt. Het biedt de juiste balans tussen flexibiliteit, controle en betrouwbaarheid, zonder je daarbij in de weg te zitten.

Als je dit soort automatiseringen verkent of overweegt hoe Qlik Cloud in je eigen oplossing kan passen, neem dan gerust contact op. Ik deel graag ideeën, wissel ervaringen uit of help je op weg.

More from the Bitmetric team