然而，杜家到了杜衍祖父那一代就家道中落了，再加上杜衍的父親病得很重，杜衍還沒有出生，他的父親就因病去世了，所以杜衍是遺腹子。據史料記載，杜衍的母親是杜衍父親的第二任妻子，杜衍父親之前有一個妻子，還生了兩個兒子，也就是杜衍同父異母的兄弟。

杜衍的爺爺因為他的兒媳改嫁，孫子無人看管，很是沮喪，再加上年老體衰，不久也病逝了。杜衍在短短一年內遭受了兩次打擊，他的情緒低落到了極點，這時他的兩個兄弟不僅沒有安慰照顧他，而是拿著寶劍砍傷了杜衍的頭，因為他們覺得杜衍的母親再婚，并從家里帶走了錢，他們沒有地方可以生氣，就把怒氣撒在杜衍身上。

杜衍因兩兄弟嚴重受傷，他掙扎著去姑姑家避難，姑姑把杜衍藏在閣樓上，杜衍當天流了很多血，但僥幸活了下來，杜衍知道家已經不能回去了，因為沒有爺爺的照顧，兩兄弟不會容納他，他不得不去找再婚的母親。

到了她母親那里，母親對杜衍很是心疼，但杜衍的繼父拒絕讓杜衍住在家里，杜衍不得不流淚離開了母親，開始了流浪的生活。無助的杜衍，先是在孟州和洛陽流浪，后來去了濟源（河南省濟源市）計劃住在這里。除了讀書和寫作，杜衍沒有其他技能，他不得不為別人抄書，寫書法，畫畫來賺錢，過著非常清貧的生活，每天夠個租金和飯錢。

雖然杜衍過得很艱難，但他每天都在堅持閱讀，他的學術沒有被倦怠，反而日益精進。杜衍偶然遇到了濟源的縣令，濟源縣令是一個善于相面的人，他看到杜衍在街上賣字畫，立刻被杜衍的優(yōu)雅外表和龍飛鳳舞的書法所吸引。

縣令開始主動與杜衍交談，經過一番交流，縣令得知杜衍是一位博學多才的人，他覺得杜衍絕非池中之物，將來會成大器，所以他主動成為杜衍的朋友。

杜衍只是一個來自外地的窮小子，能夠得到縣令的贊賞，自然受寵若驚，當縣令得知杜衍沒有結婚時，他主動為杜衍說了一門親事，女方家是濟源縣首富，這個富裕家庭的姓氏很奇怪，是一個復姓，叫做相里。

杜衍出任官員后，職業(yè)生涯全面開放，從知縣、通判，到知府、樞密直學士，再到御史中丞、龍圖閣學士，最后做了同平章事兼任樞密使，成為宋朝宰相。在杜衍擔任宰相之后，杜衍的妻子相里氏也夫榮妻貴，被封為一品誥命夫人，而杜衍的岳父則被封為員外郎。

那時，重傷杜衍的兩個哥哥還活著，但仁厚的杜衍不僅不恨他的兄弟，還非常關心照顧他們；至于當初照顧他的姑姑，和杜衍的母親和他繼父所生的兒子，都被他提升為一個小官員，算是報答姑姑和母親的養(yǎng)育之恩。