ハートフォード・アンド・ニューヘイブン鉄道およびニューヨーク・アンド・ニューヘイブン鉄道が1872年に合併したことで成立した。ニューヨーク・アンド・ニューイングランド鉄道をはじめ、アメリカ北東部の多数の鉄道会社を吸収し、ニューヨーク～ボストン間を本線とする鉄道網を築き上げた。
アメリカ有数の人口集中地帯を走ることから、旅客輸送に力を入れたことでも知られ、ニューヨーク・セントラル鉄道のグランド・セントラル駅、ペンシルバニア鉄道のペンシルバニア駅の双方に乗り入れた(トップ画像は1917年に開通したペンシルバニア駅への連絡線上にあるヘル・ゲート橋)。
しかし小規模会社を合併したことから多数のローカル線を抱える一方で、幹線の電化などの積極的な設備投資を進めたために経営が立ち行かなくなり、1935年に破綻。不採算路線の廃止やディーゼル化などの経費削減策を講じ、1948年に再建を終えた。
ところがこのときフレデリック・デュメーヌとパトリック・マクギニスが経営を握ってからは、大規模な人員削減や保守管理の簡素化など、付け焼刃的な対策に終始するようになった。その後自動車や飛行機の発達によって鉄道業界が苦境に立たされる中、不採算な構造の改革が進まなかったニューヘイブン鉄道は1961年に再び倒産した。
まさに倒産すべくして倒産したニューヘイブン鉄道を支援しようという民間会社はもはやなく、ニューヨーク・セントラル鉄道とペンシルバニア鉄道が政策的に合併したペン・セントラル鉄道に統合されることが決まった。1969年1月、ニューヘイブン鉄道はペン・セントラル鉄道の一部となったが、ペン・セントラル鉄道の経営もすでに立ち行かなくなっていた。1970年にペン・セントラル鉄道は倒産し、1976年に同社の路線はコンレールに移管された。
今日ではアムトラックおよびメトロノース鉄道が旧ニューヘイブン鉄道の路線における旅客列車の運行を担っている。ニューヨーク～ボストン間の路線は旧ペンシルバニア鉄道のニューヨーク～ワシントン D.C. 間と合わせて北東回廊と呼ばれる幹線となっており、重要な役割を果たし続けている。
