Arbetslösheten är på tioårshögsta om man bortser från pandemin, enligt arbetsmarknadsminister Johan Pehrson (L), som varnar för att vändningen dröjer.