1954年夏，李先念調到中央工作。9月，任國務院副總理兼財政部長，協助周恩來、陳云領導經濟建設，1955年在評定大將的初步方案中是有鄧小平、李先念等人的，但是后來他們都沒有被授予軍銜，毛澤東說：根據國際國內的經驗，這個大元帥我不能要，毛澤東又問過去長期在軍隊擔任領導工作，后來轉到地方工作的譚震林、張鼎丞、鄧子恢、李先念等人：你們幾個的大將軍銜還要不要評啊，這幾位也都說：不要評了，不要評了。1950年初，黨中央決定調耿飚同志到外交部工作，開始了他長達20多年的外交生涯。至1971年，他先后擔任中國駐瑞典王國大使兼駐丹麥、芬蘭公使，駐巴基斯坦大使，外交部黨委委員、副部長，駐緬甸、阿爾巴尼亞大使等職1979年1月2日，耿飚被調回軍中任職，1981年3月，72歲的耿飚擔任國防部長，是新中國的第5位國防部長，也是唯一沒有軍銜的國防部長。