1946年10月25日生まれ、広島県広島市佐伯区出身。本名・山本浩司。
幼少の頃、設立されて間もない地元プロ野球チームである広島カープの長谷川良平投手らに憧れ、プロ野球選手を志して野球を始めた。地元の広島県立廿日市高等学校に進学。
廿日市高校を卒業後、法政大学に入学。田淵幸一・富田勝と共に「法政三羽烏」と呼ばれ法政大学の黄金時代を築いた。この田淵と後に中日ドラゴンズに入団する明治大学のエース星野仙一は親友。この交友関係はプロ引退後も続いている。
大学卒業後は広島への入団を熱望し、1968年にドラフト一位で入団。1969年よりレギュラーで一軍の試合に出場するようになった。1974年に「浩司」から「浩二」に解明。
そして、1975年に才能が開花。4番に抜擢されオールスターゲームで衣笠祥雄とアベックホームランを打つなど大活躍し、初の首位打者及びMVPに輝きチームの初優勝に貢献。
優勝が決まった後、人目もはばからず男泣きする姿は広島ファンの心を打ち、その活躍をたたえ「ミスター赤ヘル」の称号を贈られた。
その後も衣笠と共にカープの黄金時代を築き上げ、1975・1979・1980・1984・1986年のセ・リーグ制覇、1979・1980・1984年の日本シリーズ制覇の立役者の1人となった。
30代以降にその才能を遺憾なく見せた、1986年も活躍するが持病の腰痛が悪化し現役を引退。
山本浩二がつけていた背番号「8」は、カープの永久欠番となっている。
その後、1989年～1993年・2001年～2005年の計二期カープの監督を務め、1991年には優勝した。
2008年には野球殿堂入り。
2013年度第3回WBCで監督を務めた。
準決勝でプエルトリコに敗れ、3連覇は果たせなかったが、日本を3大会連続のベスト4へと導いている。
2022年に、自身の三男とタレントのせんだみつおの長女が結婚することが発表され、親戚関係となったことが話題になった。
