? ? ? informaticair.S.N.M.Wijte, Adviesbureau ir.J.G.Hageman bvdr.ir.D.A.Hordijk, TNO Bouwir.G.P.L. den Boer, BetonverenigingDe sterke opkomstvan de computerzal niemand zijn ontgaan. Bij vele activiteiten is de in-zet van computers bijna niet meer weg te denken. Ook bij het ontwerpproces voor con-structies wordt steeds meer gebruik gemaaktvan rekenprogramma's. Daarmee wordt devraag: 'Hoe kan worden gecontroleerd of de programma's goed werken (volgens de nor-men)?', steeds meer opportuun.Met betrekking tot betonprogramma's die rekenen volgens de VBe 1990 [1], is binnen deBetonvereniging een werkgroep ingesteld met als doel het ontwikkelen van een beoorde?lingsmethode voor rekenprogramma's. De werkzaamheden zijn aangevangen met een in-ventarisatiefase, waarvan een aantal resultaten in dit artikel wordt gepresenteerd.BEOORDELINGREKENPROGRAMMATUURVANBETONCONSTRUCTIESEEN INVENTARISATIE60In de praktijkvan hetconstrueren van beton-constructies zijn de laatstejaren verschillen-de computerprogramma's beschikbaar ge-komen, die de constructeur bij zijn werk-zaamheden behulpzaam kunnen zijn. Dezeprogramma's worden door software-leveran-ciers ontwikkeld en op de markt aangebo-den. De programma's worden door ontwer-pers en constructeurs gebruikt bij het ont-werpen en dimensioneren van betoncon-structies.De resultaten van computerberekeningenzijn onderdeel van een constructiebereke-ning. Deze constructieberekening - en dusook de resultaten van computerberekenin-gen -wordt vervolgens door een controleren-de instantie, zoals Bouw- en Woningtoezicht,getoetst aan de geldende normen.Om gedeeltelijk verschillende redenen is, naonderlinge gesprekken over kwaliteitsbewa-king, bij de hiervoor beschreven drie partijen-de producenten, de gebruikers en de contro-lerende instanties - de behoefte gegroeiduitgevoerd. In deze werkgroep zijn de hier-voor beschreven drie partijen (in het vervolgaangeduid met 'doelgroepen') vertegen-woordigd.Voor de wijze waarop het b$loordelingspro-ject kan worden uitgevoerd, is op verzoekvande Betonvereniging door Adviesbureauir.J.G.Hageman B.V. en TNO Bouw gezamen-lijk een projectvoorstel opgesteld [2]. Hetproject, dat onder andere wordt gesubsi-dieerd door het ministerie van EconomischeZaken in het kader van de SBI-regeling enRijkswaterstaat, is opgesplitst in drie fasen:fase 1 Inventarisatie;fase 2 Ontwikkelen van een beoordelings-methode voor een tweetal typen pro-gramma's;fase 3 Uitvoeren van een beoordeling vooreen aantal programma's.Met 'type programma' wordt hier bijvoor-beeld een liggerprogramma of eenM-N-1(-programma bedoeld.aan een beoordelingsmethode voor reken- Beoordeling van computerprogramma's isprogramma's. Ditwasaanleidingvoorde Be- geen eenvoudige zaak. In het verleden zijntonvereniging om een werkgroep in te stel- ook al pogingen gedaan om zoiets op te zet-len. ten. Vooralsnog zijn deze pogingen niet ergsuccesvol gebleken. Dit werd vaak veroor-Het doel van de werkgroep is om te onder- zaakt door het feit dat men het probleem tezoeken op welke wijze een beoordeling van grootschalig wilde aanpakken.de beschikbare programmatuur kan worden De werkgroep wil daarom proberen eenCEMENT1995/6beoordelingsmethode te ontwikkelen voor hand om eerst kennis te nemen van de erva-een relatief eenvoudig type programma, of ringen in andere, gelijksoortige projecten. Bijeen deel daarvan. Als dat is gelukt kan ver- de uitgevoerde inventarisatie is niet alleenvolgens een algemene systematiek worden gekeken naar werkzaamheden met betrek-opgezet. Daarbij moeten dan ook de organi- king tot rekenprogramma's voor constructie-satorische en juridische aspecten rond het ve berekeningen. De blik is verruimd doorbeoordelen worden geregeld. ookte kijken naarvergelijkbare activiteiten inandere sectoren.De eerste fase 'Inventarisatie' is eind 1994afgerond. Een aantal van de bevindingen, Het beoordelen van software kan op ver-die zijn vastgelegd in [3], worden navolgend schillende manieren en vanuit verschillendegepresenteerd. Er is een inventarisatie ge- achtergronden een rol spelen. De meeste li-maakt van: teratuur die is gevonden betreft de kwali-? vergelijkbare activiteiten zoals die eerder teitsborging van software in het algemeen.zijn uitgevoerd en in de literatuurzijn gerap- Daarbij komen zeer veel eigenschappen aanporteerd; de orde. In figuur 1 zijn verschillende aspec-? eisen en wensen van de verschillende ten waarop getoetst kan worden weergege-doelgroepen; ven [4].? programma's die op de markt worden aan- Hetbeoordelen van de kwaliteitseigenschapgeboden en betrekking hebben op het be- 'juistheid' (in figuur 1 aangeduid als correct-rekenen van betonconstructies volgens heid), waarop de activiteiten van de werk-[1]. groep vooral zijn gericht, is er daar slechtsDeutscher Beton Verein in Duitsland, vindenin die landen op dit momentgeen activiteitenplaats met betrekkingtot de beoordelingvancomputerprogramma's gebaseerd op beton-normen. Wel kan worden gewezen op eenrapport uit 1978 [5], waarbij computerpro-gramma's voor de berekeningvan doorgaan-de liggers van gewapend beton volgens devoormalige Britse beton-norm CPll0 zijnbeoordeeld. Dit betreft overigens de enige li-teratuurbron die is gevonden, waarbij pro-gramma'svoor het berekenen van betoncon-structies zijn getoetst ten opzichte van eennorm.Software-kwaliteitKwaliteit staat op dit moment bijzonder in debelangstelling. Daar waar het begrip kwali-teit oorspronkelijk alleen aan het eindpro-dukt werd gekoppeld, is inmiddels ook dekwaliteit van het voortbrengingsproces on-der de aandacht gekomen. Vrij algemeen??n van. Voor het beoordelen van de kwali- wordt dan ook onderscheid gemaakt tussenInventarisatie van eerder uitgevoerdeactiviteitenHoewel het testen van rekenprogramma's inhet algemeen een nog zeer jonge activiteitbetreft, is er toch al het een en ander ge-beurd op dit terrein. Alvorens nu een beoor-delingsmethode voor rekenprogramma's ge-baseerd op [1] op te zetten, ligt het voor deteitseigenschap 'juistheid' moet worden na-gegaan of het programma doet wat het vol-gens de specificatie (in dit geval [1]) zoumoeten doen. Voor de manier waarop datkan gebeuren worden in de literatuur ver-schillende testmethoden besproken.Voor zover na kon worden gegaan bij de Con-crete Society in hetVerenigd Koninkrijken de'proceskwaliteit' en 'produktkwaliteit'. De indit artikel besproken beoordelingsmethodeheeft betrekking op de produktkwaliteit vansoftware.Bij de beoordeling van kwaliteit kan men alsnel denken aan certificering. In [6] is eenuitgebreid overzicht gegeven van zaken rondcertificering van software tot 1989. ~Q) Boom van kwaliteitsaspecten van software [4JdoeltreffendheidCEMENT1995/6betrouwbaarheidbruikbaarheid I--+---l machine-effici?ntieI--!---Ionderhoudbaarheidoverdraagbaarheid 1----1gebruiksgemaktestbaarheidmodificeerbaarheidbegrijpelijkheidmachine-onafhankelijhkeiduitvalszekerheidveiligheid robuustheidcorrectheid? volledigheidnauwkeurigheidtoegankelijkheidmededeelzaamheidconsistentiebeknoptheidleesbaarheidgestructureerdheidzelfbeschrijvendheid61? ? ? informaticaUit de literatuur blijkt dat certificering van nog gewezen op het volgende, waarover insoftware veel moeilijker is dan van hardware, de literatuur geen meningsverschil bestaat:omdat het vaak onmogelijk is om alle eigen-schappen te meten en alle programmatoe- 'Het is niet mogelijk om door testen aan te to-standen te testen. Voorbeelden waarbij soft- nen dat een programma in alle mogelijke si-ware wel is gecertificeerd, betreffen de nu- tuaties goed functioneert. Als echter tijdenscleaire industrie en de burgerluchtvaart. Hier het testen fouten worden geconstateerd, iswas certificatie van software door regelge-ving vereist vanwege grote risico's [6].het omgekeerde (het programma zal niet in @ 'Black-box' testing of 'white-box' testingalle gevallen goed werken) wel duidelijk.'In [6] wordt ook ingegaan op een mogelijkevisie van de verschillende doelgroepen opdie in de norm aanwezig is, verschillendeIn de literatuur wordt meestal onderscheid antwoorden mogelijk zijn.beoordeling enjof certificering van softwa- gemaakt tussen statisch en dynamisch tes-re. Daarbij wordt ook gewezen op een moge-lijkgevaarvan een beoordelingvan software.Een programma zal namelijk nooit voor100% getest kunnen worden. De gebruikerzal van deze beperking echter vaak geenkennis hebben en een goede beoordelingvan een programma meestal beschouwenals een garantie datergeen fouten zullen op-treden.Een positief effect van een beoordeling voorproducenten kan een betere verkoop zijn. Dekosten en een mogelijk tijdverlies bij het opten. Het kenmerkend verschil tussen dezetwee testm?thoden is, dat bij statisch testenhet programma niet en bij dynamisch testenhet programma wel wordt gedraaid ('run-nen').Bij statisch testen wordt door bestuderingvan de bron-code (ook wel aangeduid met'source' of 'Iisting') nagegaan of het pro-gramma volgens de specificaties werkt[6,8]. Bij dynamisch testen worden data (in-voer) aan het programma aangeboden,waarna vervolgens gekeken wordt of de ge-de markt brengen van het produkt worden gevensverzameling die het programma pro-daarentegen als negatieve punten ge-noemd. Daar komt nog bij dat er met betrek-king tot vertrouwelijkheid weerstand kan zijntegen het laten zien van alle details van hetprodukt aan een toetsende instantie.Ten aanzien van de kwaliteit van softwarekunnen vele eigenschappen worden onder-scheiden (zie o.a. [7]). Om een indrukte ge-ven kunnen worden genoemd: juistheid,compleetheid, bedrijfszekerheid, gebruiks-gemak, responsiesnelheid en wijzigbaar-heid.Dit is slechts een greep uit de vele eigen-schappen die worden onderscheiden. Daar-bij kan nog worden opgemerkt dat, zoals ookin figuur 1 aangegeven, in de literatuur nietaltijd dezelfde benamingen worden gebruikten dat tevens vaak nog een zekere hi?rar-chietussen deverschillende eigenschappenwordt aangehouden.TestmethodenIn het onderhavige project gaat het vooralduceert (uitvoer) overeenkomt met wat vol-gens de specificaties zou moeten.Binnen het dynamisch testen wordt meestalweer de tweedeling in 'black box' en 'whitebox' testen aangehouden [6,9] (fig. 2).Bij black box testen worden testgevallen op-gesteld zonder kennis te hebben van destructuurvan het programma. Meestal wordtde invoer voor de testgevallen gekozen opbasis van de specificaties. Het programmawordt beschouwd als een black box en dejuistheid wordt bepaald door het kiezen vanverschillende combinaties voor de invoer.In tegenstelling hiermee worden testenwaarbij de gekozen invoer is gebaseerd opde structuur van het programma aangeduidmet white box testen. De structuur van hetprogramma kan hierbij worden ontleend aanbijvoorbeeld de bron-code ofeen stroomdia-gram. Voor de voor- en nadelen van de ver-schillende testmethoden wordt verwezennaar de literatuur [o.a. 6,7,8].Voorbeelden van keuringenVoorbeelden van keuringen die tijdens hetonderzoek zijn bestudeerd, zijn:? het testen van een zevental programma'sgebaseerd op de voorgaande Britse normCPll0 [5];? het testen van raamwerkprogramma's,vanwege de vorm van het raamwerk aan-geduid met 'Het Paard', door de studiever-eniging STUMICO [10];? een haalbaarheidsstudie voor keurings-methoden in de agrarische sector [11].In [5] kwam naar voren dat belangrijke ver-schillen gevonden kunnen worden met ver-schillende programma's, ondanks dat allewaren gebaseerd op dezelfde norm. Ditspeelde met name een rol bij herverdelingvan momenten en vertaling van momentennaar wapening.Volgens [10] is het uitvoeren van testrunseen activiteit die de gebruiker zou kunnen(willen) uitvoeren. Vanwege de grote ver-scheidenheid aan verkrijgbare programma-tuurwerd hetechter niet mogelijkgeachteenstandaard testprobleem te ontwerpen.Daarom is ervoor gekozen een aantal 'basis-bouwstenen' (geometrie, staafeigenschap-pen, ...) te defini?ren, waarmee de gebruikerzelf een test-probleem kan samenstellen.Bij [11] zijn vijf testmethoden vergeleken,waaruit naar voren kwam, dat de twee me-thoden gebaseerd op black-box testen hetmeest geschikt leken te zijn. Deze keuze isgemaakt op basis van verschillende overwe-gingen, die onder meer betrekking haddenop de betrouwbaarheid, de kosten en de uit-om de functionaliteit van een programma en Een belangrijk aspect bij het toetsen van voerbaarheid.nog meer specifiek om de eigenschappen computerprogramma's op het gebied van'compleetheid' en 'juistheid'. Voor hettesten constructieve berekeningen is, dat niet altijd Inventarisatie van de eisen en wensenvan deze eigenschappen zijn verschillende exacte antwoorden te geven zijn. Ook als de Voor de inventarisatie van de eisen en wen-methoden bekend. Voordat kort op enkele berekening op basis van een norm wordt uit- sen met betrekking tot de kwaliteit van detestmethoden wordt ingegaan, wordt eerst gevoerd is het mogelijk dat, door de ruimte programma's is onder de verschillende doel-62 CEMENT1995j6groepen een enqu?te gehouden. Hiernaast Tabel 1is in tabel 1 een overzicht weergegeven van percentagehetaantal verstuurde en terugontvangen en-qu?teformulieren.Alle bij de Betonvereniging bekende produ-centen enjof leveranciers zijn voor de en-qu?te aangeschreven om zodoende een zovolledig mogelijkoverzichtvan de beschikba-re programma's te verkrijgen. Indien in de en-qu?te door gebruikers een leverancier werdgenoemd die eerder nog onbekend was, is~ ingeniel)~6Yr:eaus? ~0{JJ;.:cEln wQningt6ezibhtcontrole~nde instanties:. _.bO!Jwc. ef} woningtoe4?clitdeze leverancier alsnog benaderd. van zelfgemaakte software, of te wel dat in ? een reductie van controle-activiteiten bijmeer dan 75% van de gevallen software gebruikers en controlerende instanties;De vragen aan de ge?nqu?teerden hadden wordt gebruiktdie doorgespecialiseerde be- ? een beoordeling werkt positief op de alge-betrekking op de volgende onderwerpen: drijven is ontwikkeld. mene produktkwaliteit;? aanbod van software;? eisen en wensen;? controle en kwaliteit;? updates en onderhoud.Uit de enqu?teresultaten blijkt dat veel soft-ware-leveranciers een lange ervaring heb-ben op het gebied van software-ontwikke-ling, vaak meer dan tienjaar. Naast softwarevoor het berekenen van betonconstructiesleveren veel bedrijven ook software voor hetberekenen van andersoortige constructies.Van het gebruik van normgerelateerde soft-ware wordt door alle doelgroepen verwacht,dat dit in de toekomst zal toenemen. Dit om-dat de normen steeds meer in de softwareworden ge?ntegreerd, de normen complexerworden, meer koppelingen worden aange-bracht tussen reken- en tekenprogramma'sen de werkdruk bij de constructeurs zal toe-De eisen die de software-leveranciers stel-len aan de software hebben vooral betrek-king op juistheid, duidelijkheid van in- en uit-voer, inzichtelijkheid voor gebruikers en eengoede handleiding en support.Door de gebruikers worden de juistheid ende gebruikersvriendelijkheid als belangrijk-ste criteria genoemd. Tevens worden eisengesteld aan de support en de handleiding,de eenvoud en duidelijkheid van de invoerende beknoptheid en duidelijkheid van de uit-voer. Het wordt op prijs gesteld als zowel deinvoer als de uitvoer duidelijk grafisch wordtgepresenteerd. Tot slot wordt door de ge?n-qu?teerden ook een goede prijsjkwaliteit-verhouding genoemd als een belangrijkevoorwaarde bij deaanschafvan programma-tuur.? een bespoediging van de goedkeurings-procedure bij Bouw- en Woningtoezicht in-dien berekeningen zijn uitgevoerd met be-hulp van beoordeelde software.Volgens een meerderheid van de ge?nqu?-teerden dient het beoordelen van softwarehoofdzakelijk te geschieden door het uitvoe-ren van testberekeningen, of te wel door dy-namisch testen. Deze beoordeling zou vol-gens de software-leveranciers moeten wor-den uitgevoerd door de software-leveran-ciers zelf. Volgens de gebruikers en de con-trolerende instanties zou dit moeten gebeu-ren door een onafhankelijke instantie, even-tueel in samenwerking met de verschillendedoelgroepen.nemen. Door ??n van de ge?nqu?teerde dienstenUit de enqu?te blijkt tevens, dat door de ver-schillende doelgroepen ook op een verschil-lende wijze met kwaliteitssystemen wordtomgegaan. De software-leveranciers wer-ken bijna allemaal volgens een kwaliteitssys-teem ofzijn bezigeen kwaliteitssysteem in tevoeren. Van de gebruikers van de softwarewerken slechts enkelen met een kwaliteits-systeem. Geen van de ge?nqu?teerde dien-sten van Bouw- en Woningtoezicht werkt vol-gens een kwaliteitssysteem.van Bouw- en Woningtoezicht wordt verwe-Vaak worden door constructeurs in de prak- zen naar de formele eisen ten aanzien vantijk programma's voor eigen gebruik geschre- ter controle ingediende berekeningen. Dezeven. Deze programma's worden dan gebruikt eisen zijn vermeld in de Model Bouwverorde-naast of in plaats van programma's die wor- ning van 1992, bijlage 1, artikel 7 [12] enden aangeboden door de software-Ieveran- hebben voornamelijk betrekking op de pre-ciers. Uit de enqu?te blijkt, dat in minder dan sentatie van de resultaten van de bereke-25% van de gevallen gebruik wordt gemaakt ning. Verder worden door de controlerende? De werkdruk zal toenemenCEMENT1995j6instanties ook de juistheid, een duidelijkeuitvoer, grafische presentatie en de moge- Uit de enqu?te komt naar voren dat eenlijkheid tot controle van de resultaten als be- meerderheid van de gebruikers weleens fou-langrijkste eisen genoemd. ten enjofonvolkomenheden in de software,de handleiding enjof de presentatie heeftDoor bijna alle ge?nqu?teerden wordt het ontdekt. De fouten worden meestal bij de le-beoordelen van de kwaliteit van software veranciers gemeld. De gebruikers zijn vannuttig geacht. Als voordelen worden ge- meningdatin ongeveerde helftvan degeval-noemd: len door de leveranciers voldoende snel op? een grotere betrouwbaarheid van de soft- hun meldingen wordt gereageerd.~~ ~63? ?Indien controlerende instanties worden ge-confronteerd metfouten en/ofonvolkomen-heden in de resultaten van een programma,dan wordt ditgemeld aan de desbetreffendeconstructeur. Er wordt door de controleren-de instanties geen contact opgenomen metde softwareleverancier.? informaticaOp deze w?ze kunnen programma's van ver-schillende leveranciers, met een verschillen-de structuur, met hetzelfde gereedschapworden getest. Dit streven naar een ??ndui-dige testmethode is van belang om eenbeoordeling economisch mogel?kte maken.In de tweede fase zal naast de technisch in-bureaus. Instituut voor het Klein en Midden-bedr?f Nederland, juni 1989.5. Bensasson, S., Computer Programs forContinuous Beams CP 110. Design OfficeConsortion, Evaluation report No. 2, 1878.6. Software Certification: State-of-the-Art.SCOPE report 89/066, September 1989.houdel?ke kant ook aandacht worden be- 7. Het specificeren van software-kwaliteit;80% van de gebruikers bezit een onder-houdscontract voor de aangeschafte soft-ware. Op deze wijze worden z? regelmatigvoorzien van updates van de aangeschafteprogrammatuur. Niet alle gebruikers ontvan-gen alle updates zoals die door de software-leveranciers worden uitgegeven. Somswordt door de leveranciers een aantal relea-se-nummers overgeslagen.Programma's voor het berekenen vanbetonconstructies volgens de VBe 1990In heteindrapportvan de eerste fase van hetproject [3] is een korte lijst opgenomen vande programma's voor het berekenen van be-tonconstructies volgens de VBC 1990, die inNederland verkr?gbaar z?n. Voor belangstel-lenden is dit rapport verkr?gbaar b? de Be-tonvereniging.Uit de enqu?te blijkt dat het meest gebruiksteed aan economische, organisatorischeen zo mogelijkjuridische zaken. Hetgaat danbijvoorbeeld om het omgaan met nieuwe re-leases, hetwel of niet opzetten van een keu-ringsorganisatie en zaken met betrekkingtotde verantwoordel?kheden.Literatuurlijst:1. Technische grondslagen voor bouwcon-structies TGB 1990 - Voorschriften Beton;Constructieve eisen en rekenmethoden(VBC 1990), Nederlands Normalisatie-Insti-tuut NEN 6720, september 1991 +correc-tieblad maart 1992, oktober 1994.2. Kwaliteitssysteem voor rekenprogramma-tuur van betonconstructies; Projectplan. Ad-viesbureau ir.J.G.Hageman B.V. rapport2818-1-1, oktober 1993.3. Kwaliteitssysteem voor rekenprogramma-wordt gemaakt van de ligger- en raamwerk- tuur van betonconstructies; Eindrapportageprogramma's. Het ligt voor de hand hier dan fase 1, Adviesbureau ir.J.G.Hageman B.V.ook de eerstvolgende acties op te richten. rapport 2818-3-0 en TNO Bouw rapport94-CON-R1562, november 1994.Twej;lde fase 4. Beoordeling van Geautomatiseerde Infor-De resultaten van de inventarisatie van eer- matiesystemen op branche-niveau; Hand-dere activiteiten en de enqu?teresultaten boek voor branche-organisaties en advies-bl?ken goed b? elkaar aan te sluiten. Algeme-ne overlappende conclusies z?n:Een praktische handleiding. Quint-projectvan de stichting Software Engineering Re-search Centre, Kluwer Bedr?fswetenschap-pen, Deventer, 1992.8. Sneed, H.M., Software Qualit?tssiche-rung. Rudolf M?ller GmbH, K?ln, 1988.9. Roper, M., Software testing. McGRAW-HILL Book Company Europe, 1994.10. Alles onder controle?, rapport nummer7, deel I en 11, Studievereniging STUMICO,Bleisw?k, 1990.11. Haalbaarheidsstudie keuringsmetho-den agrarische software. Centrale Land-bouw Organisaties, Dec~mber 1989.12. Standaardregelingen in de bouw. Deel 1Model Bouwverordening; Bouwbesluit. VNGuitgever?, 1992.?? Het is nuttig om de kwaliteit van program- 0 Beoordeling van programma's met name op juistheidma's te beoordelen, met name op de ei-genschap 'juistheid'.? Het beoordelen van programma's kan hetbeste geschieden door het uitvoeren vaneen controlerende berekening met spe-ciaal daarvoor opgestelde testgevallen(dynamische testmethode).Het project 'Beoordelingsmethode voor re-kenprogrammatuur voor betonconstructies'zal worden voortgezet. Het is de bedoelingom in de tweede fase (1995) een beoorde-lingsmethode voor een tweetal typen pro-gramma te ontwikkelen. B? het ontwikkelenvan deze methode zal het accent in eersteinstantie liggen op het dynamisch testen vanprogramma's volgens de black box methode.64 CEMENT1995/6