お坊さんを憎いと思うと、坊さんの着ている袈裟まで憎いと思えるようになることから。
袈裟とは僧侶が左肩から右脇下にかけてまとう布状の衣装のこと。なお僧侶が憎まれる対象になったのは江戸時代の寺請制度が関連しているとされている。
寺請制度とは江戸幕府が宗教統制の一環として始めた制度のことで、僧侶を通じた民衆管理が法制化されている。そのため寺が事実上幕府の出先機関となり、本来の宗教活動が疎かになって汚職の温床にもなったことから僧侶が憎まれる対象になったと言われている。
なお英語にも似たようなことわざがあり「彼の踏む地面まで憎い」を意味するTo hate the ground he treads on.がそれにあたる。