与约翰•洛克菲勒、安德鲁•卡内基以及其他一大批新涌现的富豪出生于贫寒家庭不同的是，J.P.摩根出生于富裕之家，祖上从英国移居美国的新英格兰地区，他的祖父及父亲都是成功的商人，父亲朱尼厄斯·斯潘塞·摩根（Junius Spencer Morgan）还是知名的银行家，J.P.摩根从小就在父亲的刻意栽培下成长。J.P.摩根母亲那一系的祖上都是虔诚的基督徒，也有不少人做牧师及传道人，曾祖父詹姆斯·皮尔庞特牧师（Rev. James Pierpont）还是耶鲁大学的创始人之一。
J.P.摩根1837年生于康涅狄格州的哈特福德。1854年他从波士顿著名高中毕业后，前往欧洲学习，在那里他学会了法语和德语，并短暂地到他父亲在伦敦的商业银行工作，不久之后回到美国，前往纽约开始他的职业生涯，时年20岁。在纽约的日子J.P.摩根展露了自己的才华，他不再仅仅是富裕银行家的公子哥，而是有着敏锐嗅觉、敢于冒险、大胆进取、行动果决、眼光独到的商人与金融家。
J.P.摩根的发家史，与南北战争是分不开的，他在战时大做军火生意、囤积、倒卖黄金以及购买国债，为自己掘得了第一桶金。南北战争初期，J.P.摩根按照自己得到的信息，与他人联手倒卖黄金，但也因此遭到传媒的调查与严厉抨击。此外，他通过他人廉价购买几乎就要报废的步枪，经过加工后再高价卖给北军，也赚了一笔钱，但也因此遭到调查及舆论的谴责。南北战争后期，J.P.摩根又通过承销、购买林肯政府发行的国债券大赚了一笔，同时为自己在金融业立足奠定了基础。
此后，在数十年的职业生涯中，J.P.摩根撮合了通用电器公司的成立，又在19世纪后期铁路行业经历过度扩张和激烈竞争导致许多公司陷入财务困境时，积极参与对铁路公司的整顿和重组，在这个过程中，他获得了大量铁路公司的股票，据估计他最终控制了全美约六分之一的铁路线，成为不是铁路经营者的铁路大王。20世纪初J.P.摩根成功收购当时的钢铁巨头安德鲁•卡内基的钢铁公司，并在1901年成立美国钢铁公司（U.S. Steel），使他在华尔街名声大震，真正成为华尔街大佬。
在1873年与1907年两次金融恐慌中，J.P.摩根都发挥了稳定形势的作用，政府从他那里购买了大量的黄金储备，避免恐慌的进一步蔓延以及通货紧缩的恶性循环。在1907年的金融恐慌中，J.P.摩根以一己之力，召集金融巨头商讨稳定局势的对策，事实上起到了中央银行的作用，对挽救美国经济贡献巨大。
在J.P.摩根的事业颠峰期，他以及他的公司先后参与重组了四十多家大型企业或为这些企业的重组背书，J.P.摩根也成为华尔街响当当的大亨，甚至被称为“华尔街的拿破仑”。与约翰•洛克菲勒、安德鲁•卡内基一样，J.P.摩根在发家过程中的行事风格及垄断行为也引起舆论很大的争论，赞美与抨击者都大有人在。
绝大多数人不知道的是，在J.P.摩根的家族中有一位名人，即他的舅舅詹姆斯·劳德·皮尔庞特（James Lord Pierpont），詹姆斯·皮尔庞特是广为人知的圣诞歌曲“铃儿响叮当”（Jingle Bells）的词曲作者。此外，J.P.摩根曾预定泰坦尼克号处女航的头等舱，但因故没有上船，幸运地躲过一劫。
J.P.摩根去世后，遗体葬在哈特福德的家族墓地，举行葬礼时，华尔街股票市场曾停止交易以示对他的尊敬。