明治33年（1900年）に誕生、大正9年（1920年）に臣籍降下して山階家を創始し侯爵に叙爵。大正14年（1925年）に貴族院議員。芳麿は陸軍軍人だったが幼少期に鳥に関心をもったのがきっかけで陸軍を退役し鳥類学を学ぶため東京帝国大学に入学し卒業。その後は鳥類標本館を建てる。以降は鳥の研究を続け昭和17年（1942年）に山階鳥類研究所を設立。同年に雑種の不妊性の論文「鳥類雑種の不妊性に関する研究」で理学博士。戦後は日本鳥類連盟会長に就任。平成元年（1989年）に死去。
芳麿の死後に功績を讃えられ山階芳麿賞が創設された。
