葛振林1981年7月从原衡阳军分区后勤部副部长（副师级）的职位上离休，之后在衡阳军分区干休所颐养天年。离休后的葛振林老人仍继续发挥余热，担任了驻地10余所中小学的校外辅导员。
 
2004年11月11日，葛振林因病入院接受治疗，被诊断为老年性慢性支气管炎、肺气肿、肺心老病、支气管哮喘、冠心病等多种病症。
 
葛振林去世后，当地干部、群众纷纷送来花圈，含泪告别这位名震中外的抗日英雄。