1940年回國，他先後任大學教授，翻譯專家，與夫人戴乃迭翻譯三卷本《紅樓夢》在國內外皆獲好評。
文革期間，楊曾遭批鬥，夫婦二人亦同被關進牢獄達四年。1982年，楊憲益發起並主持了旨在彌補西方對中國文學瞭解的空白“熊貓叢書”系列，重新打開了中國文學對外溝通窗口。
楊憲益與戴乃迭育有一子二女。楊的兒子到英國兩年後，於1979年自殺身亡。楊戴夫妻二人一生遭遇坎坷無數，但一直相愛直至離世。
戴乃迭人生的最後時光一直被喪子之痛折磨著，痛苦得到時常酗酒。1999年11月18日，戴乃迭離開了人間。離世對她來說或許是種解脫，但對楊憲益來說，卻是人生最後十年的最大痛苦。戴乃迭去世時，楊憲益作悼亡詩一首：
早期比翼赴幽冥，
不料中途失健翎。
結髮糟糠貧賤慣，
陷身囹圄死生輕。
青春作伴多成鬼，
白首同歸我負卿。
楊憲益2009年11月23日逝世，享年95歲。《憲益舅舅的最後十年》的全部內容來自我國著名翻譯家楊憲益先生的外甥女趙蘅的私人日記。該書用日記形式記錄了楊憲益最後十年的生活，包括家庭內部的交流、與文壇友人的交往、與疾病的鬥爭等，記錄著“生活的瑣瑣碎碎，人間的是是非非”。
趙蘅與舅舅楊憲益情逾父女，她既是作家又是畫家。作為楊家後輩中唯一能寫的，趙蘅認為自己有責任為舅舅寫本書，讓更多的人有機會親近這位可愛可敬的老人。
她十年如一日，在日記中詳細記錄舅舅的言行，得以為讀者提供真實豐富的細節。趙蘅在書中寫出晚年楊憲益的心態：“世界上好像只有兩個人在他們的最後的時候不覺得欠自己什麼了，一個是梵古，另一個是我的舅舅。他的晚年是瀟灑地看著他辛勤培育過的孩子一個個回來，重印、再版，叢書、系列源源不斷。他不再遺憾什麼了，乃迭在天國等他團聚，他暫留在大家身邊也好，他都不在乎。”
楊憲益一生樂於奉獻，到了晚年更是慷慨毫無保留。每次客人來時，他總會事先備好送對方的東西。即使是手上戴的戒指，有人誇好看，他也會說你喜歡就拿去。家裡一櫃子書幾乎都送了人，甚至開玩笑說身後把骨灰丟進馬桶沖掉算了。
趙蘅的父親趙瑞蕻和母親楊苡分別是將世界文學名著《紅與黑》和《呼嘯山莊》翻譯成中文的著名翻譯家。趙蘅從小受家庭文化氛圍的薰陶，做起了畫畫和寫作。楊老生病住院期間，趙蘅也常服侍在側，楊憲益與這位外甥女也格外親近，對她寄予厚望，親自幫她審校稿子，鼓勵她多寫東西。從楊憲益為老友黃宗江夫人阮若珊寫的悼亡詩中更能看出他的豁達：“鳳霞仙子赴瑤台，乃迭若珊隨後來。莫道天宮常寂寞，四人正好打橋牌。”