Családja a 18. században költözött Németországból az Újvilágba. Szüleivel és testvérével négyéves korától egy farmon élt, és már ekkor bizonyságot adott kiváló üzleti érzékéről: hétévesen pulykákat nevelt és eladta őket afféle zsebpénz-kiegészítésként. Amikor anyagi helyzetük kedvezőbbre fordult, Clevelandben vettek házat. Rockefeller itt tizenhat éves korában munkába állt egy könyvesboltban, majd négy évvel később önálló vállalkozásba fogott: egy barátjával bizományos üzletet alapított, gabonával, hússal, zabbal és mindenféle mással foglalkoztak.

A pennsylvaniai kőolaj 1859-ben történt felfedezése után meglátta a nagy lehetőséget: 1862-től olajfinomítókba fektetett be, majd testvérével és még néhány üzletemberrel együtt 1870-ben megalapította a híres-hírhedt Standard Oil Companyt. Rockefeller kezdettől a cég élén állt és óriási vagyonra tett szert. Riválisait felvásárolta, a vasutaktól kedvezményes szállítási árakat csikart ki, tevékenységét fokozatosan az egész országra kiterjesztette. Ő hozta létre az első modern trösztöt, kezében tartotta az amerikai olajipart, nála összpontosult az olajszállítás 90 százaléka.

A cég olykor a törvényesség határát súroló módszereit sokan és gyakran bírálták, a trösztellenes törvényt is a Standard Oilra szabva hozták. 1911-ben a legfelsőbb bíróság monopóliumnak minősítette a Standard Oilt, amelyet 37 cégre daraboltak fel. Rockefeller egy évvel korábban, 1910-ben vonult vissza teljesen, hogy az emberbaráti tevékenységnek szentelje magát. Vagyonát a 19-20. század fordulóján 900 millió dollárra becsülték és akkoriban őt tartották a világ leggazdagabb emberének (az inflációval kiigazítva ma is helye lenne az első húszban).

A hívő baptista Rockefeller bőkezűen adakozott, a halálakor készült összegzés szerint 540 millió dollárt adományozott nevelési, egészségügyi és tudományos célokra, így a világ legnagyobb emberbarátjának is nevezték. Ő alapította a chicagói egyetemet, a mai Rockefeller Egyetemet New Yorkban és a Rockefeller Alapítványt.

Tanítónő feleségétől öt gyermeke született, az üzletet egyetlen fia, ifjabb John D. Rockefeller vitte tovább. Unokája, Nelson Rockefeller Gerald Ford alatt az Egyesült Államok alelnöke volt, egy másik unokája, Winthrop Arkansas állam kormányzóságáig vitte, dédunokája, Jay Rockefeller pedig a szenátorságig.

Életének utolsó éveiben már csak az a cél vezérelte, hogy megélje a századik születésnapját. Ennek érdekében három lakóhelyén három orvosa volt, akik (olykor telefonon) minden nap értesültek a páciens állapotáról, emellett napi huszonnégy órában ápolónők vigyáztak rá. Étrendjének nagy részét a világ különböző részeiről beszerzett, vagy saját kertjében nevelt zöldségek tették ki, gyakran evett külön e célra nevelt bárányból készült erőlevest, szomjúságának oltására speciális tejterméket ivott. Házai teli voltak különleges orvosi berendezésekkel, emellett mindig ott lakott, ahol éppen a legjobbnak ítélte a klímát. A végén erőkímélés céljából már kerekes székben közlekedett vagy karban vitték, az emeletek között lift járt. Napirendje szigorúan kötött volt: hétkor ébredt, kilenckor feküdt le, ugyanabban az időpontban étkezett és pihent, étkét tudományos alapon állították össze. A halál mégis hirtelen érte, két évvel a kitűzött céldátum előtt, 1937. május 23-án vitte el a szíve Ormond Beach-i otthonában. Orvosai egy nappal korábban még arról biztosították fiát, hogy nem kell apja miatt aggódnia, így családtagjai közül senki sem állt halálos ágyánál.

John Davidson Rockefeller alakító részese volt Amerika iparosodásának, láthatta, amint a lovakat felváltják az autók, a szekereket a vasutak. Emlékét nem csak alapítványai őrzik: Walt Disney Dagobert bácsijának riválisát, az Amerikában szinte ismeretlen John D. Rockerduckot a legenda szerint róla mintázták.