1920年、熊本県に生まれ、高校時代は投手として甲子園で準優勝するなど、投手での活躍が目立った。巨人入り後は投手としてはコントロール難で失格の烙印をおされ、通算11勝を挙げた後は主力打者として活躍。プロ野球で最初に2000本安打を達成した打者でもあり、そのスピード記録は現在でも日本プロ野球記録の1646試合(日米通算だとイチローが上回る)。現在では抜かれた記録でも達成当時、日本最速、最多等のプロ野球記録は数知れず、「打撃の神様」の異名をもっていた。
長嶋茂雄や王貞治と入れ替わるように現役引退、引退後は巨人軍監督として14年間指揮を取って、その間リーグ優勝、日本シリーズ制覇共に11回というこちらは現在でも不滅であり、1965年から1973年までの9年連続日本一はV9と呼ばれる。1974年、監督を退任後はNHK解説者となった。現在でも日本プロ野球史上最高の監督として名を挙げる者は多く、野村克也、星野仙一、などを始め、信奉者は数多い。ただし、現役時代は「哲のカーテン」と言われる情報統制を敷いて徹底して自軍の情報を公開する事を避け、かつ強すぎるチームも相まって、強いが采配はつまらないという声は当時から多く、これは後の森祇晶(V9時代の捕手、西武黄金時代の監督)や落合博満(オレ流采配を当初から絶賛したのは川上である)に受け継がれることになる。
これだけの実績を挙げたにもかかわらず……
雑誌などの企画で、歴代ベストナインを選出した場合、現役当時の守備位置の一塁手部門において日本プロ野球全体はおろか、巨人歴代ベストナインに入る事は100%と言って良い位無い。無論、監督時代の不人気からではなく、川上の後に固定された一塁手が王貞治だから、という理由であり、これは致し方ない所ではあるが
ちなみに、歴代監督ベスト1を実績から考えて選べば、ほぼ間違いなく選ばれるのは言うまでもない。
川上が現役時代につけていた背番号「16」は、巨人の永久欠番になった。
2013年10月28日に93歳で死去。10月30日に行われた日本シリーズ第4戦巨人対楽天では、巨人の選手・首脳陣が喪章をつけてプレー。川上の死を悼んだ。