後述する語学や西洋のマナーなどは、この際に身に付けたものが多いと思われ、巌の生涯の公私にとって大いに役立つこととなった。又、この留学以降、巌はワインやステーキなどを大いに愛好するようになり、西洋かぶれと揶揄されるほどの洋風な趣向をするようになった。晩年になるとその食生活もあって、従兄の隆盛のようにでっぷりと肥ってしまい「ガマ」などと渾名されていた。

士族反乱、そして西南戦争

帰国後は持ち前の砲兵術を生かして、士族反乱の鎮圧に参加してきたが、巌にとって最も苦痛となったのは明治10年、従兄・隆盛が起こした西南戦争であったと思われる。この時は隆盛の弟・従道は陸軍卿代理として東京に残ったものの、隆盛末弟の小兵衛、隆盛庶長子の菊次郎、そして実弟・誠之助や甥・辰之助は西郷軍に参加した。

巌も旅団司令長官として出征し九州各地を転戦、城山の戦いにも攻城砲隊司令官として参加、隆盛の最期を見届けることになった。

また小兵衛と辰之助も戦死している。

これらが心の痛手となったのか、巌は後の生涯、鹿児島に帰郷することはなかったという。

明治政府高官として

明治12年、急死した川路利良の後任として大警視（現在の警視総監）に就任。

翌13年には陸軍卿、15年には陸軍卿兼参謀本部長（後の参謀総長）、17年の華族制度発足で従三位・伯爵、ついで18年の内閣制度発足により初代陸軍大臣に就任。

その後も陸軍の薩摩閥の中心となっていたが、総理大臣になることはなかった。これについては諸説あるが、「賊軍の大将である西郷隆盛の親族である」という負い目があったというのが通説である（これについては従道も同様）。

日清戦争

明治27年日清戦争が勃発すると、巌は陸軍大臣のまま、第2軍司令官として朝鮮半島に赴くことになる。10月遼東半島の旅順に上陸した第2軍は1日で旅順を占領、続けて翌年1月から清国北洋艦隊の籠る威海衛湾を攻撃、1か月かかったものの北洋艦隊は降伏し、清国海軍は事実上壊滅した。

これらの功により、従二位・伯爵から正二位・侯爵へと昇位・陞爵した。また明治31年元帥府が創設された際は、小松宮彰仁親王・山県有朋・従道と共に元帥号を贈られている。

日露戦争

明治37年日露戦争が勃発した際、参謀総長であった巌は開戦4か月後の6月、現地陸軍部隊の総司令部として設置された満州軍の総司令官になった。

作戦立案等に関しては総参謀長の児玉源太郎大将が担当しており、巌の役割は泰然自若として総司令部の雰囲気を落ち着かせ、浮足立たせないようにさせることにあった。

例として10月の沙河会戦の際、倍近い戦力のロシア軍を前に殺気立っていた児玉達参謀に対して「児玉さん、今日もどこかで戦（ゆっさ）がごわすか」と呑気に語り、その場の雰囲気を和らげさせている（沙河会戦は適切な指揮と現地部隊の奮戦により、引き分けに持ち込むことが出来た）。

晩年

戦後は元老の一人となり明治40年公爵に陞爵する。大正4年内大臣に就任するも、翌5年12月10日在任中のまま没した。享年75。

巌と捨松

大山巌のエピソードで有名なのは、妻・山川捨松との熱愛ぶりである。それを順を追って解説していく。

会津戦争　～巌26歳　捨松8歳～

二人の最初の出会いとなったのは、捨松の故郷・会津若松を舞台とした会津戦争であった。

ただし巌は薩摩軍砲兵隊長として攻城軍の一員として、捨松（当時は幼名のさき）は家老である兄・山川大蔵の家族として鶴ヶ城に籠城していた。つまり最初の出会いは敵同士だったのである。

先述の通り巌は攻城戦初日に負傷し後送されていったが、さきは1か月に渡る籠城戦で義姉（大蔵の妻）・トセを失うなど薩長軍への強い恨みを持ったことは想像に難くない。

留学　～巌27歳　捨松11歳～

明治2年巌は渡欧し、軍事学のみならず西洋の語学・常識・マナーなど日本ではとても得られないようなものを得ることができた。

一方さきも明治4年、11歳の時に北海道開拓次官・黒田清隆が発案した10年間の官費留学生の一人として渡米することになった。この時に母・えんが「おまえのことは一度捨てたものだと思って、帰国を松（＝待つ）のみとの思いを込めて「捨松」と改名させている。

ちなみに11月22日さき改め捨松がアメリカに出発した翌日、巌も再度の渡欧のために日本をたっている。

アメリカへ留学した捨松は瞬く間に英語を習得し、名門女子大・ヴァッサー大学に進み西洋文化を習得、最終的に学年3位という好成績で卒業、明治15年、11年に及ぶ留学生活を終え帰国した。

出逢い　～巌42歳　捨松24歳～

明治9年、34歳の巌は同郷の先輩であった吉井友実（後宮内次官・伯爵）の娘、沢子（当時16歳）と結婚。四女に恵まれる（但し次女・美津子は夭折）ものの、明治15年8月24日、四女・留子の産後の肥立ちが悪くわずか23歳でこの世を去ってしまう。

落胆した巌とまだ幼い子供たちを見かねた義父・友実は巌に再婚を薦めることにする。

一方の捨松は帰国後、失望のふちにあった。23歳となっていた捨松は10代で嫁に行くのが普通の時代にあっては行き遅れとなっており、嫁の貰い手がなかったのである。また男尊女卑の強い時代、いくら高学歴でも「女が仕事をするなんて」という風潮が強く、アメリカ時代の友人、アリス・ベーコンへ送った手紙には「売れ残り扱いされている」「母からも縁談も来ないだろう」といった愚痴が記されていたという。

その状況が変わったのが明治15年、海軍軍人・瓜生外吉（後海軍大将・男爵）と捨松と同じ官費留学生であった永井しげの結婚披露宴でのことだった。吉井は娘婿・孫のためにもいい相手を紹介しようとし、巌をこの結婚披露宴に連れて行ったのである。そして巌が見初めたのが、新婦の友人として出席していた捨松だったのである。

結婚攻防戦

一目ぼれした巌は捨松にアプローチをかけるため吉井に山川家への縁談申し入れを依頼したのである。しかし山川家の当主であった兄・浩（大蔵が明治後に改名）からすれば上官（当時浩は陸軍大佐で中将・陸軍卿として陸軍のナンバー2にあった巌の部下にあたる）の申し入れとはいえ、会津出身者からすれば仇敵といえる薩摩出身者の申し入れなど受け入れるわけにはいかず、即座に断ったのである。

しかし諦めきれない巌は次に、従弟・西郷従道に説得を依頼した。浩はあくまでも上官である以上薩摩人はごめん被るとはいえず、「自分たちは賊軍（＝会津藩士）の家柄だから、大山閣下の後添えにはふさわしくない」と婉曲に断ろうとしたが、従道は「こっちも賊軍の大将（＝西郷隆盛）の家柄だから無問題」（隆盛が名誉回復するのは明治22年）として通じなかった。粘り強く交渉を続ける従道に、浩も根負けし「本人（＝捨松）次第」と回答した。

それを受けた捨松は、巌に対して「大山閣下のお人柄が分からなければ返事ができない」として、逢引＝デートを申し込んできたのである。当時はデートなどとても不道徳なこととされており、捨松としては要職にある人物がそんな申し出に応じるはずがないという読みがあったと思われる。

しかし巌は快諾、さっそく日取りが決められデートすることになったのだが、出会った巌から開口一番発せられたのは強烈すぎる薩摩弁だった。前妻・沢子も同郷出身だったのでそれで通用していたと思われるが、捨松は長いアメリカ生活で辛うじて日本語が使えるレベルとなっており巌から発せられた言葉は理解不能な言語の羅列だったと思われる。

思考停止状態になっていた捨松に対して、巌は「言葉が分からないんだな」と即座に理解し、英語で話しかけたのである。男尊女卑が強い日本人が多い中で、巌が示した相手に合わせる姿勢、そして鷹揚な人格と茶目っ気のある性格に捨松は次第に惹かれていき、交際を始めてから3か月後にアリス・ベーコンに送った手紙には「たとえ家族に反対されようとも、彼と結婚する」と記されていた。

そして明治16年11月8日婚儀が行われ、12月12日には鹿鳴館で結婚披露宴が行われた。西洋好きの巌は披露宴の招待状を全文フランス語で書いたため、受け取った親類友人は面食らったそうである。

その後

巌は上記の通り、日清・日露戦争で活躍し最終的に元帥陸軍大将・公爵まで進むことになる。

一方捨松も、明治政府高官夫人として恥じない姿勢で各国の外交官と接することで「鹿鳴館の花」と称されるようになる。また医療教育推進のため明治17年に日本初のチャリティーバザー「鹿鳴館慈善会」を開き、その収益を提供したことによって2年後の19年、日本初の看護婦学校「有志共立病院看護婦教育所」（現在の慈恵看護専門学校）が創設されている。また、留学生時代の仲間である津田梅子が開いた女子英学塾（現・津田塾大学）にも支援を惜しまなかった。

一方私生活では巌と捨松の間2男1女が生まれたが、長男・高は海軍少尉候補生（これは「陸軍に入ると親の七光りと思われるのが嫌だった」というのが理由）時代の明治41年、乗艦していた巡洋艦「松島」の爆沈事故により還らぬ人となってしまった。奇しくも、大山夫妻の縁をつないだ前述の瓜生外吉・しげ夫妻も、同じ事故で長男・武雄を亡くしている。

大正5年、巌は病死。享年75歳。大正8年、捨松も当時流行していたスペイン風邪に感染し死去。享年58歳。