やがて、曹操自らが袁紹の軍糧の集積地である、烏巣の淳于瓊を襲撃したという知らせが入った。張郃は曹操が精鋭を率いていることから、淳于瓊に援軍を送るよう袁紹に進言したが、同僚の郭図は反対し、総軍で曹操の本営を攻撃するよう進言した。張郃は「曹操軍の本営は簡単には落ちない」として異を唱えたものの、袁紹は両方の策を取り入れるという優柔不断な行動をとり、烏巣には軽装の騎兵の援軍を送り、重装の兵士で曹操軍の本営を攻撃した。その際、張郃は曹操本営への攻撃を諌めたのにもかかわらず、袁紹にその本営攻撃の主将に任命されている。

張郃の予期した通り曹操軍の本営は落ちず、烏巣の淳于瓊は曹操に敗北するという最悪の事態となった。淳于瓊の敗北を聞くと、張郃は高覧と共に曹操に降伏し、その前後で袁紹の軍は総崩れとなった。この時、淳于瓊の敗北を恥じた郭図が「張郃は敗北を喜び、不遜の言を吐いている」と讒言したため、張郃は後難を恐れ曹操に降伏したともいう。

曹操の留守を守る曹洪は張郃らの降伏を怪しみ、張郃らを迎え入れようとしなかったが、荀攸は「張郃が降伏したのは、自分の計略が採用されなかった事を怒って降伏したのです」と言ったので、ようやく張郃らは迎え入れられることができた。曹操は張郃の降伏を喜び、「伍子胥は自分が誤った君主に仕えたことに気がつくのが遅かったために、不幸な最期を遂げた。君が私に降伏したのは微子啓が殷を裏切って周に仕え、韓信が項羽の下を去って劉邦に仕えたような真っ当な行動である」と称賛した。張郃は偏将軍に任命され、都亭侯に封じられた。

曹操配下として

曹操配下の将軍として軍勢を与えられ、鄴を陥落させ、袁譚を攻撃し、さらに別軍を率いて擁奴を包囲しこれを打ち破った。さらに、207年の烏桓との柳城での戦いでは張遼と共に先鋒を務め、その功績で平狄将軍に昇進した。東莱の菅承討伐にも参加し、張遼と共に陳蘭・梅成を討伐し、これを破った。

208年の荊州征伐では、張郃は于禁・張遼・朱霊・李典・路招・馮楷の6将軍と共に、章陵太守・都督護軍の趙儼の指揮下に入っている。

211年、馬超・韓遂との戦いでも、曹操に従い渭南で馬超・韓遂を破り（潼関の戦い）、さらに安定を包囲し楊秋を降伏させた。その後、夏侯淵に従い、鄜の梁興と武都の氐族を討った。再起を図った馬超を討ち、長く独立を保っていた宋建をも滅ぼした。

215年、漢中での張魯征伐では、朱霊と共に先に軍を率いて興和の氐族の王の竇茂を討伐した。曹操が散関から漢中へ行軍する時には、5000の歩兵を率いて先行し道を通じさせた。陽平まで行き、張魯を降伏させた。曹操は帰還するとき、夏侯淵とともに張郃を漢中（南鄭）の守備におき、益州を取った劉備に備えさせた。張郃は巴東・巴西の2郡を降し、その住民を漢中に移住させていたが、宕渠まで軍を進めたところで劉備の武将・張飛に完膚無きまでに撃破され、供周り十数騎とともに南鄭に引き返した。盪寇将軍に任命された。

219年、劉備が漢中に侵攻し陽平に駐屯すると、張郃は広石に駐屯した。劉備は精兵1万を10部に分けて張郃に夜襲を仕掛けたが、張郃は親衛隊を率いて白兵戦に及び、劉備は勝つことが出来なかった。後に劉備が走馬谷を焼き払い、それに乗じて張郃を攻撃したので張郃は劣勢となった。夏侯淵は張郃の救援に本隊の半分を割いたところ劉備の襲撃を受け、劉備の部将黄忠に討ち取られた（定軍山の戦い）。張郃は陽平に引き返した。劉備は張郃を警戒し、夏侯淵を組し易いと考えており、劉備は夏侯淵討死を聞いても「一番大事な者（張郃）の首を討ち取ってはいないではないか」と言ったという。

主将を失った曹操軍は混乱に陥った。夏侯淵の司馬であった郭淮は、「張郃将軍は国家の名将であり、敵将の劉備も恐れている。この事態は張郃将軍以外において打開できない」と言い、杜襲も張郃を臨時の都督とすべきと進言したため、張郃が臨時に軍を率いることになった。張郃は全軍を励まして動揺から落ち着かせ、諸将もまた張郃の軍令に従った。

曹操は長安までやってきていたが、張郃に節を与えた。まもなく曹操は自らも漢中に入り劉備と対峙するものの、劉備は高い山に立て籠もったため、ついに大規模な衝突にはならず、曹操は漢中から撤収した。張郃は漢中と長安の中途にある陳倉に駐屯した。

220年、曹操の子曹丕が王位につくと左将軍に任命され、都郷侯に封じられた。この時、冠軍将軍の楊秋とともに征羌護軍に任命された郭淮に、監督を受けたという。

曹丕（文帝）が帝位につくと鄚侯に封じられた。221年、詔勅を受けて曹真と共に盧水胡と東羌を討伐した。その後、許に召喚された後、222年、曹真・夏侯尚らと共に呉の江陵を攻め、艦隊を率いて孫盛を破り、長江の中州の砦を占領した。

諸葛亮との戦い

曹叡（明帝）の時代になると、張郃は荊州に配置され、司馬懿とともに孫権の部将の劉阿を破るなど、呉との戦いで功績を挙げたが、228年、蜀漢の諸葛亮が祁山に出兵してくると（北伐）、張郃は特進の位を与えられ、対蜀の前線に再度赴くことになった。

張郃は街亭の蜀軍を攻撃した。蜀の前線大将馬謖は砦に頼らず山に布陣していた。張郃はまず馬謖軍の水を汲む道を絶ってから攻撃し、これを散々に撃ち破って街亭を奪還した。これにより戦略上の要所を奪われた蜀軍は撤退した（街亭の戦い）。張郃ら魏軍は蜀に降伏した天水・南安・安定の三郡を平定した。この戦功で張郃は食邑を1000戸加増され、以前と合わせて4300戸となった。

張郃は関中の諸軍を率いて再び荊州に戻り、司馬懿の呉征伐に参加するよう命令を下されたが、張郃が着いた頃には冬で水位が下がっており、大型船が運行できない状況になっていたことから、張郃は引き返して方城に駐屯した。

諸葛亮が再び侵攻し、陳倉を攻撃してきた（陳倉の戦い）。張郃は明帝より駅馬を支給され、首都に戻された。明帝は直々に河南城まで出向いて張郃を宴席でもてなし、南北の軍兵3万とともに護衛のための近衛兵を分け与えた。明帝は張郃の援軍が遅れることを心配していたが、張郃は諸葛亮の兵糧事情から、長く対陣できないだろうと予測した。張郃は昼夜とも進んで南鄭に辿り着き、諸葛亮は撤退した。張郃は首都に召喚され、征西車騎将軍に任命された。

231年、諸葛亮率いる蜀軍がまたも祁山を包囲し陳倉に進出したが、張郃が略陽に到着すると、陳倉方面の蜀軍は祁山まで後退した。魏軍は祁山を蜀軍から開放するために、司馬懿が諸葛亮の軍を、張郃が王平の軍を攻撃したが、失敗した。諸葛亮率いる蜀の軍勢が祁山から全面撤退を開始した時に、張郃は蜀軍を追撃したが、木門まで来たところで蜀軍と交戦となり、矢が右膝に当たり死去した。

明帝は歴戦の老将である張郃の陣没を大いに悲しんだという。壮侯と諡号が贈られた。