東京府東京市日本橋区堀留町（現在の東京都中央区日本橋）の仕出し弁当店・弁菊の次男として生まれる。
東京都立第二十一中学校（現：東京都立武蔵丘高等学校）に入学するが学制改革に遭い、数か月で新制早稲田大学高等学院に転校。
（早稲田大学高等学院と早稲田大学本庄高等学院［1982年開校］は早稲田大学直属の附属校。早稲田実業学校などは「系属校」で直接的な関係はない。）
早稲田大学第一商学部に進学、学部卒業間際に結核を患ったので就職を断念して、1955年4月に早稲田大学大学院商学研究科商学専攻修士課程に進学し、療養生活を送る。その時、銀座でバー「カランタス」を経営。その頃に書いた漫才台本がNHKのコンクールで採用されたことをきっかけに放送作家としての活動を開始。1956年6月には大学院を中退する。
1961年、東京都立第二十一中学校の同期だったすぎやまこういちから電話で呼び出され、渡辺プロダクション社長である渡辺晋を紹介され、『おとなの漫画』（フジテレビ）、『シャボン玉ホリデー』（日本テレビ）などの渡辺プロダクション制作の番組構成を担当し、放送作家本人が画面に登場する「青島だァ!」のギャグで一躍有名になる。
1960年当時「最初に運転免許を取って美容師の免許を取って、映画も撮って、作詞作曲、監督、主演を全部やり、直木賞を取り、国会議員になる」と豪語し、植木等から正気を疑われたが、8年後までにこれら全てを実現させた。
- 作詞家として代表曲として『スーダラ節』『だまって俺についてこい』『明日があるさ』などがある。
- 1966年には映画『鐘』で製作・脚本・監督・主演を担当し、同作はカンヌ国際映画祭の国際批評家週間に入選した。
- 俳優としても、テレビドラマ『意地悪ばあさん』（原作：長谷川町子、レギュラー放映：読売テレビ／1967年〜1969年、フジテレビ／1981年〜1982年）に主人公・意地悪ばあさん（波多野たつ）役で主演し、読売テレビ版の主題歌『意地悪ばあさんのうた』も歌った。
- 1968年、第8回参議院議員通常選挙に全国区から立候補し2位で初当選。（1位は石原慎太郎、3位は上田哲）タレント議員のパイオニア的存在となる。（その後、第二院クラブに所属、代表（初代・第5代）を務めた。参議院議員は1996～1989年、1992年～1995年まで5期）
- 1981年、小説『人間万事塞翁が丙午』で同年上半期の直木賞を受賞。
1995年、参議院議員を辞職し、東京都知事選挙に無所属で出馬することを表明、有力候補を破り、170万0933票を獲得して圧勝する。
1999年、任期満了で都知事の職を退任。
2001年、二院クラブ代表に復帰。第19回参議院議員通常選挙に比例区から出馬するも落選。
2004年の第20回参議院議員通常選挙に東京都選挙区（定数4）から無所属で出馬するが落選、事実上政界を引退することとなった。
2006年12月20日午前9時31分、骨髄異形成症候群のため死去。74歳没。叙・正四位、旭日重光章受章。戒名は廉正院端風聚幸大居士。
長女は放送作家・エッセイスト・タレントの青島美幸、長男は作詞家・放送作家の青島利幸。
