2019年11月22日に、15歳年下の一般女性と結婚したことを「オードリーのオールナイトニッポン」にて発表し、「ヒルナンデス」や「日向坂で会いましょう」などの出演番組で共演者からこのことを散々イジられることとなった。（ちなみに、奥さんの職業が看護師であることもラジオで言ってしまっているため、日向坂46の松田好花からは、同日に一般男性(職業は医者)と結婚した橋本マナミを引き合いに出され、散々イジられていた。）

そして、2022年2月5日に、第1子である女児が誕生していたことを「オードリーのオールナイトニッポン」で報告した。

性格

「人見知り」「女性が苦手」と、対人関係への積極性がない。

日本テレビの深夜番組「たりないふたり」では、南海キャンディーズの山里亮太とともに「飲み会の断り方」「先輩の自慢話の止め方」などのテクニックを披露するほどである。

ネクタイを結ぶことが非常に苦手であり、1日に何度も同じネクタイで舞台に上がることを嫌っており、いつも複数のネクタイを持参している。

子供の頃、犬に噛まれたことが原因で動物が苦手である。日本テレビの「天才!志村どうぶつ園」では若林をいじるのが定番になっていた。

感情の起伏が妙に低く見え、絶叫マシーンやおばけ屋敷などのアトラクションでは無表情(というか反応が薄い)だったりする。

(おばけ屋敷では、おばけ役の人に「あ、お疲れ様でーす」と驚かす人に挨拶する謎行動をしたことがある。……おばけ屋敷で働く人涙目である)

過去

お笑いをやることは当時、父親に大反対をされ家を出て行くようにしてお笑い芸人を目指すことになったという。

ブレイク後は時々実家に帰り、父親とも打ち解けてることができた。しかし、その父親は2016年に亡くなってしまった。

過去、女性との別れで過呼吸になってしまい、春日に電話してビニール袋を口に当てて呼吸するという対処を教えられた。

余談

読書好きの芸人として有名。藤沢周の「オレンジ・アンド・タール」(光文社)は特に思い入れが強く、自ら解説まで執筆した。
「ダ・ヴィンチ」(メディアファクトリー刊)にて「オードリー若林正恭の真社会人」を連載したことをキッカケに、連載をまとめた「社会人大学人見知り学部卒業見込」も出版された。
芸能界屈強の音痴として知られており、「めちゃイケ」の「歌へた王座決定戦」では、高頻度で出場を果たしていた。第3回では優勝している。
音痴にもかかわらず、オムニバスアニメ「ユルアニ?」内の「ハトのおよめさん」にて主題歌を担当。加山雄三の「お嫁においで」と小柳ルミ子の「瀬戸の花嫁」をカバーした(しかも、作曲者平尾昌晃氏の推薦である)。
アニメ「フレッシュプリキュア」の第27話にて、春日と共にゲストキャラクターとして登場。更に全プリキュア大投票のキャラクター部門ランキングではレギュラーキャラでないのにもかかわらず、中間発表で13位、最終14位にランクインした。詳しくは記事「リトルトゥース」参照。
「ひまわりと子犬の7日間」(2013年)で初の映画出演を果たす。保健所の職員・佐々木一也役を演じ、2014年の日本アカデミー賞にて話題賞を受賞した。