Barnen bodde hos dem i flera år – tillbaka hos föräldrarna trots brottsmisstankar.