刺杀加菲尔德的凶手是查尔斯•吉托（Charles J. Guiteau），吉托是传教士、作家和律师，也是当时共和党内保守派系“忠诚派”的成员。在加菲尔德代表共和党竞选总统时，吉托曾撰写演讲稿为加菲尔德鼓气拉票，加菲尔德最终以微弱优势胜出当选总统，吉托认为他写的文章起了很大的作用。根据当时政坛流行的“政党分肥制”的做法，吉托要求得到回报，他希望成为美国的驻外大使，比如瑞士、法国等，但他的要求被多次拒绝。吉托也曾与其他许多求职者一样，到白宫以及国务院外排队等候，5月14日时任国务卿布莱恩（James G. Blaine）亲口告诉吉托不要再提求官的要求了，政府无法满足他的愿望。吉托一气之下顿起暗杀之心，决定刺杀加菲尔德，其实加菲尔德对吉托求官一事并不知情，但最终还是倒在了吉托的枪下。
加菲尔德上任之初，继续前任总统海斯开启的改革官员任命的做法，不采用“任人唯亲”的 “政党分肥制”，而采用“任人唯贤”、择优任命的做法，使得不少为共和党竞选出过力的人失去了担任公职的机会，引起了党内的纷争。当时共和党内以参议员罗斯科•康克林（Roscoe Conkling）为首的保守“忠诚派”（Stalwarts）坚持实施政党分肥制，其成员包括接替加菲尔德担任总统的切斯特•阿瑟（Chester A. Arthur），而坚持实施公务员制度改革的便成为共和党的温和改良派，海斯、加菲尔德以及布莱恩等人都属于这一派。吉托在刺杀加菲尔德被捕时，曾称自己是真正的忠实派成员，并高呼阿瑟现在是总统了。根据吉托的想法，阿瑟当时是副总统，加菲尔德一死，根据法律规定，阿瑟自然就名正言顺地成为总统了。
不过，令吉托及其他保守“忠诚派”吃惊的是，阿瑟担任总统后，不但不记前嫌、不愿恢复政党分肥制的做法，而且还大力推动改革，在他的任上通过了美国公务员制度史上最重要的“彭德尔顿公务员制度改革法案”（Pendleton Civil Service Reform Act），阿瑟并将公务员制度改革作为自己任内最主要的工作之一。在此之前，阿瑟曾担任过纽约港海关关长，他在海斯总统实施公务员制度改革时，因为不服从海斯要求公务员行政中立的命令，曾被海斯开除职务。在许多共和党保守派的眼中，阿瑟是公务员制度改革的受害者，因此理所当然地会恢复老一套做法，想不到阿瑟却从中吸取了相反的教训，担任总统后，追随改良派的做法，完成了公务员制度改革的立法重任。也有一些历史学家认为，正是加菲尔德的死，促成了改革的步伐，导致国会顺利通过法案，也可以说，加菲尔德用自己的鲜血为公务员改革铺平了道路。
加菲尔德1831年生于俄亥俄州，他出生不到18个月父亲就去世了，母亲独自抚养5个孩子，家境清贫。加菲尔德在乡村小学接受初级教育时，知道如果需要接受进一步学校教育的话，只有靠自己努力挣钱才缴得起学费。16岁时，加菲尔德独自外出工作，希望成为一名海员，他在靠近克利夫兰市附近的运河船上工作了一段时间，不久因病回家，后来决定上神学院学习。在神学院他一边学习一边打工，做过各种杂活。神学院为他开启了走入学术殿堂的大门，他对知识的渴求很强烈，也显示出较强的学习能力。18岁时，他意外得到一份教职，从此边教书边上学。此后他到马萨诸塞州的威廉姆斯学院上学，他的才华得到学院院长霍普金斯的赏识，他在学院学习期间，演讲及辩论能力得到大大提升，这为他以后从政竞选公职做了准备。
加菲尔德的父母都是虔诚的基督徒，他也在成年后受洗，并在教会热心事奉，成为教会中的神职人员。他在当选总统后不得不辞去教会职务，为此他曾表示“我辞去了世上最高的职务而去当美国总统。” 加菲尔德被公认为历届总统中最虔诚的基督徒之一。
加菲尔德被刺身受重伤后，在白宫躺了数周，电话发明者贝尔曾用自己设计的金属探测器试图找出加菲尔德身上的子弹但没有成功。当时华盛顿正处于炎夏季节，温度很高，为了让加菲尔德有更好的条件治病，海军工程师在白宫安装了可能是世界上第一台空调，将室温下降了11摄氏度。由于子弹没有取出，加菲尔德不断感染发炎发烧，不久转去新泽西州海边治疗，但最终还是没有抵挡得住炎症的侵袭，于1881年9月19日去世，享年50岁。
加菲尔德去世后，在首都举行了隆重的国葬，7万多人沿街目睹他的灵车经过；在俄亥俄州的克利夫兰，15万人参加了纪念仪式，几乎倾城而出。
加菲尔德虽然只做了200天总统，但他作为学者、军人、政治家以及虔诚的基督徒，在美国历史上写下了值得一提的一页。