美国法律规定军人不得担任国防部长，这是军队服从民选政府的重要措施，也是民主的基础之一。法律不仅规定现役军人不能担任国防部长，而且退役军人成为普通公民后也必须等待7年才有资格担任国防部长，只有国会有权通过特别决议免除此种年限限制。现任国防部长劳埃德·奥斯汀是在2016年退役的，因此在他被拜登总统提名担任国防部长后，国会通过了决议免除他退役7年的时限规定，使他能够顺利成为第28任国防部长。
由文职官员领导军队是美国的传统，建国之初宪法就规定民选总统是军队的最高统帅。第二次世界大战结束后，时任美国总统杜鲁门建议国会立法改革军队指挥系统以便更有效地领导各军种，1947年国会通过了《1947年国家安全法》（National Security Act of 1947），成立了国防部，国防部长成为总统领导下统管军队事务的最高负责人，法案并规定担任国防部长的人选，必须从非军人中选择，而且规定退役军人必须在退役10年后才能担任国防部长；2006年国会通过法规将这一规定由10年改为7年。
从1947年迄今，一共有28任国防部长，首任国防部长是詹姆斯·福里斯特尔（James Forrestal），他于1947年9月17日就任，在28任国防部长中，有3人获得国会有关规定的豁免，第一位是乔治·马歇尔（George Catlett Marshall, Jr.），当时他是陆军五星上将（General of the Army），属于现役，由于韩战爆发，杜鲁门总统任命他为第三任国防部长，得到国会豁免。此后第26任国防部长吉姆·马蒂斯（Jim Mattis）于2017年就任时，尚未达到退役7年的规定，也得到国会豁免。最近的就是现任国防部长奥斯汀。
