Vägen från de första OS-gulden i Los Angeles 1984 till det sista i Atlanta 1996 var inte enkel.