Dolby se narodil v Portlandu ve státě Oregon. Byl vychován v San Franciscu, kde navštěvoval střední školu v Sequoia Redwood. Ještě jako teenager pracoval na částečný úvazek ve společnosti na výrobu elektronických přístrojů Ampex, kde se také poprvé setkal s nahrávacím zařízením. Toto zařízení později rozvíjel a podílel se na technických inovacích. Jednou z nich byla technologie na odstranění šumů ze záznamů, která se po něm později pojmenovala - "Dolby Noice Reduction".

S manželkou Dagmar měl dva syny, Tona a Davida.
Ve svých 80 letech zemřel na leukémii.