原則漢民族であり、そのルーツを辿ると古代中国(周から春秋戦国時代)の中原や中国東北部の王族の末裔であることが多い。漢民族の中でも中原発祥の中華文化を守ってきた正統な漢民族である。歴史上、戦乱から逃れるため中原から南へと移動、定住を繰り返していった。移住先では原住民から見て“よそ者”であるため、客家と呼ばれ、原住民との軋轢も多かった。この争いを土客械闘という。
中国内の移動・定着の歴史は、およそ6段階に分類され、最初が秦の時代辺りから江西地帯への入植、第2段階が西晋の八王の乱から永嘉の乱にかけて黄河流域の中原や華北の北方住人が長江以南に避難。第3段階が唐末の黄巣の乱に江西、福建、広東の奥地に南下。第4段階として南宋末期の元軍の侵攻により広東に拡がり、第5段階では、清の時代の領土拡大に伴い、西は四川省、東は台湾に展開、そして最後の段階として、海南島まで南下した。ほとんどの家に古代からの族譜があり、祖先信仰が強く、風習も頑なに守ってきたため、周囲から隔絶されて発達した客家語には古代の文語がうずもれるように残っている部分があるといわれている。