Mer än varannan allmänläkare i primärvården har funderat på att byta jobb på grund av sin arbetsmiljö.