Né à Sheffield en Angleterre sous le nom de John Robert Cocker qui deviendra Joe Cocker. Il commence sa carrière musicale dans sa ville natale, où il participe à plusieurs groupes dès l'âge de quinze ans. Le premier était The Avengers, sous le nom de scène de Vance Arnold, puis Big Blues (1963), et enfin The Grease Band (1966). En 1969, il apparaît au programme télévisé américain The Ed Sullivan Show.

Son premier tube est la chanson With a Little Help from My Friends (1968), une reprise blues d'une chanson des Beatles, extraite de l'album Sgt. Pepper's Lonely Hearts Club Band. L'année suivante, il participe au festival de Woodstock.