Oro över ekonomin vanligare i vissa grupper, visar ny undersökning.