概要
旗本・岡本忠次郎の子として生まれ、旗本・平岡文次郎の養子となる。
昌平坂学問所で学び秀才と称されるも仕官先がなく、不遇をかこっていたが、水戸藩前藩主・徳川斉昭に仕える藤田東湖、幕府勘定味役・川路聖謨に才能を認められ、一橋慶喜の小姓として召し抱えられる。
安政5年(1858年)には、一橋家家老・中根長十郎らと慶喜の将軍擁立に奔走するが失敗、大老・井伊直弼の一橋派弾圧(安政の大獄)により、安政6年(1859年)、」甲府勝手小普請に左遷される。
文久2年(1862年)12月、慶喜の将軍後見職就任により江戸に呼び戻され、文久3年(1863年)5月、一橋家用人として復帰、慶喜の上洛にも同行する。
慶喜は公武合体派の中心となるが、裏で動いているのは平岡と用人の黒川嘉兵衛とみなされた。
元治元年(1864年)2月、側用人番頭を兼務、5月に一橋家家老並となる。6月2日には慶喜の請願により大夫、近江守に叙任されるが、6月14日、在京水戸藩士・江幡広光、林忠五郎らに暗殺された。
なお、後に財界の重鎮となる渋沢栄一を一橋家の家臣へと推薦した人物でもある。
渋沢は平岡について「察しがよく一を聞いて十を知るという質の人物だった。」と述懐しており、非常に気の利く人物であったことが窺える。しかし、同時に「それ故他人の先回りばかりすることになったために敵も多く生まれてしまい、それが暗殺の一因になってしまったのではないか」とも評している。