Kaj se je zgodilo?

Medicinska naprava Therac-25, ki je v osemdesetih letih obsevala rakave bolnike, je predstavljala izjemen tehnološki napredek, saj so pri njej inženirji stare mehanske varnostne sklope v celoti nadomestili s programsko opremo.

Njihovo zaupanje v popolnost lastne programske kode je bilo tako absolutno, da so strojne varovalke preprosto in dokončno odstranili z naprave.

Zaradi izjemno specifične in skrite programske napake, ki se je sprožila zgolj ob zelo hitrem tipkanju operaterja, je naprava nekajkrat odpovedala in bolnikom dovedla stokratne, smrtonosne doze sevanja.

Ta tragedija ostaja ena najbolj poučnih študij na področju programske opreme, saj uči, da koda ni nikoli imuna na napake in ne sme biti edina črta obrambe, ko gre za človeška življenja in zdravje. 

Nauk zgodbe: Slepo zaupanje v nezmotljivost tehnoloških sistemov in odstranjevanje analognih varovalk vodi v usodne napake.

Predlogi izboljšav

Posameznik: Kljub izjemnemu udobju avtomatizacije pri pametnih sistemih mora ohraniti zavedanje in osebni nadzor ter ne sme popolnoma izklopiti lastne kritične presoje in zanašanja na to, da tehnologija ve najbolje.

Industrija: Inženirji morajo pod grožnjo odškodninske odgovornosti sisteme graditi po načelu varne odpovedi, kjer napaka varno ustavi sistem, in vedno ohraniti fizične varnostne mehanizme.

Odločevalci: Na podlagi priporočil neodvisne stroke morajo uvesti izjemno stroge in dolgotrajne protokole testiranja za vso programsko opremo, ki se uporablja v medicini, prometu ali kritični infrastrukturi.