ある場所に「行きにくい」「入りづらい」という気持ちを感じる、という意味。 「不義理をしたり、迷惑をかけたりしたことがあって」という理由が前提。