Riksidrottsförbundets ordförande Karl-Erik Nilsson överväger att avgå efter kritiken.