Artisten Sean ”Diddy” Combs har tvingats lämna tillbaka utmärkelsen stadens nyckel till New Yorks borgmästare.