Utstötning kan komma från andra håll än extremhögern, och obehaget är lika allvarligt.