1943年生、栃木県出身。
元は金子姓であったが、作家の山岡荘八の娘と結婚し、
舅のペンネームである「山岡」姓に改めている。
当初は自民党だったが、小沢一郎に従い新進党→民主党と渡り歩き
鳩山政権で国家公安委員長に就任、野田政権で国家公安委員会委員長、内閣府特命担当大臣(消費者及び食品安全担当)に就任した。
小沢の民主党出奔にまた付き従い、現在は生活の党に所属。
マルチ商法(ネットワークビジネス)業者との関連が強く、自身もマルチ商法を正当化する発言を行っており、献金を業者から受けたり被害者救済団体に圧力をかけたとして問題視されたこともあった。
このことから「消費者担当」大臣就任には「何の冗談か」と呆れる声が多数だった。
2012年には息子の達丸ともども結成したばかりの日本未来の党から出馬したが親子ともに落選し、小沢に従い生活の党に移籍した。