Il est né le 11 octobre 1951 à Paris, dans le 19e arrondissement, 3 ed'une famille de quatre enfants. Sa mère, Ruth Ambrunn, née à Munich (Allemagne), et son père, Alter Mojze Goldman, né à Lublin (Pologne), furent héros de la résistance. Il a pour frère cadet l'auteur-compositeur Robert Goldman et pour demi-frère le militant d'extrême gauche assassiné Pierre Goldman. Bachelier en 1969, il poursuit ses études et intègre l'Edhec, dont il sort en 1973.

Il a d'abord chanté dans le groupe Red Mountain Gospellers en chorale puis avec The Phalanster et enfin avec Taï Phong (Grand Vent en vietnamien) avant de débuter sa carrière solo, qu'il a mise entre parenthèses quelques années pour fonder un trio, nommé Fredericks Goldman Jones, avec le gallois Michael Jones et l'américaine Carole Fredericks.

Il a écrit la plupart de ses chansons en utilisant son propre nom (pour Céline Dion, Patricia Kaas, Johnny Hallyday, Garou, Khaled, Rose Laurens, Lorie, Marc Lavoine, Florent Pagny), mais a parfois, jusqu'en 1994, fait usage de pseudonymes, afin que la presse juge ses titres de façon plus objective. Ces pseudonymes sont :
Jean-Jacques Goldman se lance alors dans une carrière solo avec des textes en français qu'il écrit lui-même. Les débuts sont plutôt difficiles et au début des années 80, il s'est presque résigné à travailler dans le magasin de sport de son frère pour gagner sa vie. C'est par hasard qu'il rencontre un ami qui cherche des chansons pour lancer une jeune chanteuse. Ce projet n'aboutira pas, mais Marc Lumbroso a repéré l'auteur compositeur et décide de le lancer.
En 1981, il signe un contrat pour 5 albums avec le label Epic chez CBS. Le premier fortement inspiré de la musique anglo-saxonne des années 70-75 connaît un succès mitigé. Puis, en 1982, sort Quand la musique est bonne qui rencontre un immense succès. Jean-Jacques Goldman reçoit le Diamant de la chanson française "meilleur espoir 1982". Dès lors les albums se succèdent et le phénomène Goldman