1965年，袁殊被宣判為國(guó)民檔CC特務(wù)、軍統(tǒng)特務(wù)，日本特務(wù)、漢奸，判處有期徒刑12年。他本應(yīng)在1967年刑滿釋放，但因?yàn)?ldquo;文革”，又被關(guān)押了8年。
看過(guò)判決書，曾龍和曾虎都愣住了。他們沒(méi)想到，父親竟然是這樣一位貨真價(jià)實(shí)的反革.命分子。
傳閱一圈之后，坐在角落里的袁殊開(kāi)了口：“這只是事情的一個(gè)方面，另一方面是我所做的一切事都是接受了檔的指示才干的。”
大軍山農(nóng)場(chǎng)準(zhǔn)假25天，袁殊和子女、親屬見(jiàn)面不過(guò)三四次，卻能準(zhǔn)確道出每個(gè)人的性格和處事特點(diǎn)，這一點(diǎn)讓曾龍十分嘆服，“不愧為老牌特務(wù)”。
1978年夏天，曾虎去大軍山農(nóng)場(chǎng)探望袁殊，住了三天。曾虎告訴《中國(guó)新聞周刊》，袁殊的工作是看菜園，住在平房里，房間里擺放著訂閱的報(bào)刊。他對(duì)曾虎說(shuō)起，四人幫倒臺(tái)了，他相信有些問(wèn)題可能會(huì)有新的說(shuō)法。
曾虎說(shuō)，對(duì)父親過(guò)去給國(guó)民檔做事覺(jué)得可以理解，但是給日本人做事，是漢奸，作為子女，也認(rèn)為是不能原諒的。
沉默半晌后，袁殊說(shuō)，自己曾這樣問(wèn)監(jiān)管的李隊(duì)長(zhǎng)：“你在解放軍當(dāng)過(guò)兵，如果你的連長(zhǎng)讓你沖鋒陷陣，你能違抗命令嗎？”
居無(wú)立足之處
1980年1月，袁殊第三次請(qǐng)假回京。
此時(shí)，他已身患半身不遂，治療后病情有所緩解。在1月3日的日記中，他寫到：“長(zhǎng)壽對(duì)于無(wú)所事事的人來(lái)說(shuō)，卻是‘老而不死是為賊’了！”
前兩次回京，袁殊都向組織提出了要求重新審查的申訴，均無(wú)果，這次他抱著不把問(wèn)題搞個(gè)水落石出就不回去的決心，打算破釜沉舟。
袁殊陸續(xù)見(jiàn)到了一些20多年前的舊相識(shí)，給夏衍、李一氓、熊向暉等當(dāng)年隱秘戰(zhàn)線的老戰(zhàn)友都寫了求援信。
袁殊這次回京前，沒(méi)有通知子女。曾龍只好臨時(shí)把他安置在自己位于永安里的一處8平米的小空屋中。
當(dāng)時(shí)正值寒冬。袁殊在秦城監(jiān)獄里患了腦血栓，手腳不太靈便，常常費(fèi)了很大力氣也生不好爐子。曾龍每次去看他，他幾乎都躺在床上咳喘不止。他幾次在日記中感慨，自己居無(wú)立足之處，“天下之大，而我似乎將近流落街頭”。
《中國(guó)新聞周刊》記者眼前的這本日記本，黑色皮面，上有一紅一白兩朵雛菊，里面是深藍(lán)色的鋼筆字，字跡清晰，日期從未間斷，每日之間空一行，日期被加深加粗，一目了然。
一天，袁殊把鑰匙鎖在了房里。他在日記中寫道：“這個(gè)情景，正為現(xiàn)在的政治處境：門鎖緊了，鑰匙鎖在房?jī)?nèi)，人則鎖在房外，進(jìn)出不得！”
1980年2月24日，時(shí)任中調(diào)部老干部局局長(zhǎng)郭達(dá)凱給袁殊送來(lái)了300元錢作為醫(yī)藥費(fèi)，并和他談了近一小時(shí)。他得知，自己寫的材料已正式轉(zhuǎn)交組織，在中調(diào)部落實(shí)政策辦公室備了案。他當(dāng)面提了要求：“在國(guó)內(nèi)我已經(jīng)成為了一塊廢料，不如放我出去活動(dòng)。”
曾龍注意到，此后的兩個(gè)星期，父親情緒很興奮。他知道，父親是想繼續(xù)干老本行。
2月29日，袁殊寄出寫給中調(diào)部部長(zhǎng)羅青長(zhǎng)的信，請(qǐng)求解決自己的問(wèn)題。9月28日，他收到最高人民法院的來(lái)信，要求他對(duì)某些情況再做補(bǔ)充說(shuō)明。
在等待處理結(jié)果的日子里，袁殊靠讀書、看報(bào)、抄寫、聽(tīng)廣播打發(fā)時(shí)間。有時(shí)一個(gè)人逛公園，去美術(shù)館看展，看電影，在街邊買花和糕點(diǎn)小吃。他會(huì)把每一筆開(kāi)銷都詳盡記下。在日記中，他嘆息：“一天就為了忙于吃！”
五重間諜
1980年7月，在與袁殊和關(guān)露都熟識(shí)的梅益介紹下，袁殊借住進(jìn)了同為潘漢年案涉案人員、也剛出獄不久的關(guān)露在香山東宮二號(hào)的房子。
在這里，袁殊三女兒曾曜的丈夫、在長(zhǎng)春光學(xué)與精密機(jī)械學(xué)院工作的趙如寶第一次見(jiàn)到了袁殊。他對(duì)袁殊十分好奇，覺(jué)得自己這位大名鼎鼎的老丈人完全不像搞特工的，倒更像一位大學(xué)教授，有文人氣質(zhì)。
1981年8月，關(guān)露要收回房子，袁殊租住進(jìn)香山南營(yíng)。機(jī)關(guān)落實(shí)政策辦預(yù)付了一年的房租。
袁殊經(jīng)常一個(gè)人在家守著一臺(tái)小黑白電視機(jī)。那時(shí)，電視連續(xù)劇《敵營(yíng)十八年》正在熱播，他不屑地對(duì)曾龍說(shuō)：“白區(qū)地下工作要是照這個(gè)搞法，半天都混不下去。”
袁殊曾對(duì)曾龍說(shuō)，自己是“榜上有名”的人。1946年，他被戴笠任命為國(guó)民檔軍統(tǒng)直屬第三站站長(zhǎng)，中將軍銜。他沒(méi)有理睬，進(jìn)入了解放區(qū)。