Oppositionsråd oroligt för att den planerade anläggning ska ta av fotbollsplanerna