華南に住む漢民族の一派であり、そのルーツを辿ると古代中国(周から春秋戦国時代)の中原や中国東北部の王族の末裔であることが多い。
中国内の移動・定着の歴史は、およそ6段階に分類され、最初が秦の時代辺りから江西地帯への入植、第2段階が西晋の八王の乱から永嘉の乱にかけて黄河流域の中原や華北の北方住人が長江以南に避難。第3段階が唐末の黄巣の乱に江西、福建、広東の奥地に南下。第4段階として南宋末期の元軍の侵攻により広東に拡がり、第5段階では、清の時代の領土拡大に伴い、西は四川省、東は台湾に展開、そして最後の段階として、海南島まで南下した。
さらに近代になって、東南アジアに移民した者もいる。
ほとんどの家に古代からの族譜があり、漢民族の中でも中原発祥の中華文化を守ってきた正統な漢民族としてのプライドが高い。周囲から隔絶されて発達した客家語には古代の文語がうずもれるように残っている部分があるといわれている。移住先では原住民から見て“よそ者”であるため、客家と呼ばれ、原住民との軋轢も多かった。この争いを土客械闘という。