如果不交,企業有沒有權利釦押我的養老保險手冊？

尊敬的律師：
您好，我於2007年12月29日被公司以除名的方式解除了勞動關系，我在單位已經4年不上班了，因爲單位沒有崗位安排，我就一直在外麪自己打點零工。這四年來單位一直在幫我交養老保險，我想諮詢的是：勞動關系解除後，這四年的養老保險應該由單位負責的部分(即20%的部分)是不是也要我交廻企業，如果不交，企業有沒有權利釦押我的養老保險手冊？謝謝！