Samenvatting

In dit afstudeerverslag staat een onderzoek beschreven naar de beste methode om Excel applicaties te testen. Onder testen wordt hierbij verstaan het controleren of een Excel applicatie correct reageert op gegeven input. De Excel applicaties zijn gemaakt door de InfoSystems groep, een ontwikkelgroep binnen de Shell afdeling van de ORTEC Consultancy Group. De Excel applicaties zijn gemaakt voor het bedrijf Shell. Deze Excel applicaties zijn ervoor bedoeld om verschillende processen binnen Shell te analyseren.

De InfoSystems groep wil weten of het huidige testproces efficiënter kan worden gemaakt zonder dat dit consequenties heeft voor de kwaliteit van de Shell Excel applicatie. In theorie is Model-Based testing de beste methode om het testproces te optimaliseren omdat:
- Het automatisch uitvoeren van de testscripts minder tijd kost dan het handmatig testen.
- Het maken van een model minder tijd kost dan het handmatig schrijven van testscripts.

In dit onderzoek is geanalyseerd of dit ook in de praktijk geldt bij het testen van Shell Excel applicaties. De onderzoeksvraag is daarom: "Kan het testproces van Shell Excel applicaties worden versneld als er gebruik gemaakt wordt van Model-Based testing onder de voorwaarde dat de kwaliteit van Shell Excel applicaties minstens gelijk blijft? "

De huidige testmethodieken die worden gebruikt om Excel applicaties te testen zijn handmatig testen en capture and replay testing. Het nadeel van deze methodieken is dat ze veel tijd kosten om te worden uitgevoerd, er naderhand niet gezegd kan worden welke onderdelen van de Excel applicatie hoe goed getest zijn en de oorzaak van fouten lastig te achterhalen is.

Met behulp van het Model-Based testing framework NModel is een testexperiment uitgevoerd. Hierbij is zowel de efficiëntie als effectiviteit van de huidige testmethode en van Model-Based testing gemeten. Uit dit experiment kwam naar voren dat Model-Based testing op lange termijn efficiënter is dan de huidige testmethodiek. De effectiviteit is onder bepaalde voorwaarden ook beter dan de huidige.

Aan de hand van dit onderzoek kan op de volgende manier de onderzoeksvraag beantwoord worden. Het testproces van Shell Excel applicaties kan worden versneld als er gebruik gemaakt wordt van Model-Based testing onder de voorwaarde dat de kwaliteit van Shell Excel applicaties minstens gelijk blijft. Dit antwoord geldt echter alleen als aan de volgende eisen wordt voldaan:
- Er moet sprake zijn van een grote Excel applicatie die over een langere periode ontwikkeld wordt. Bij kleine korte ontwikkelingen is de huidige ontwikkelmethode beter.
- Het model moet de werking van de tool voldoende concreet beschrijven. Als een model te abstract de correcte werking van een programma beschrijft zijn de tests niet in staat om specifieke fouten in de Excel applicatie te vinden. Een model is voldoende concreet beschreven als de met het model gegenereerde testscripts de testdoelstelling bereikt kan worden.