みだらな態度や服装をしたり、性欲が異常に強い人(またはその事)を指す言葉で、色情事に気違いのように執着することから「色」と「気違い」が組み合わさった語。類似する語では「変態」、「スケベ」、「狒々」、「出歯亀」といった語が該当する。
ちなみに、某動画サイトでは『ルパン三世』TVシリーズ1期の第5話で峰不二子がルパンに擦り寄っていたシーンの台詞とそのシーンで五ェ門が不二子を襲っている妄想をされた描写から不憫なことに石川五ェ門を表す代名詞となってしまった。そのため、某大百科では「色キチガイ」が「石川五ェ門」タグの記事にリダイレクトされているという不憫なことになっている。