Hyllade fosterpappan stöddes av kommuner och Röda korset – men hans sexövergrepp var kända långt före pojkhemmet.