Harvey wurde im Glasgower Bezirk Kinning Park, einer Art Arbeiterviertel der Großstadt, geboren. Harvey arbeitete nach eigenen Aussagen zunächst in den unterschiedlichsten Jobs. Musikalisch begann er in den 1950ern als Skifflemusiker. Diese damals in Großbritannien sehr beliebte Musik und der damit verwandte Dixieland Jazz waren für Harvey auch die größten musikalischen Einflüsse.
Von 1958 bis 1965 leitete Harvey seine Big Soul Band, er wurde zu der Zeit auch als Schottlands Antwort auf Tommy Steele (einem englischen Rock'n'Roll Star) gehandelt. Nachdem Harvey die Big Soul Band verließ, versuchte er sich zunächst mit wenig Erfolg als Solokünstler. In London wurde Harvey dann fester Musiker für das Musical Hair, in dieser Zeit formierte er auch mit Ray Russell das kurzlebige Projekt Rock Workshop.
1972 folgte die Gründung der Sensational Alex Harvey Band (kurz SAHB). Harvey holte sich dazu ehemalige Mitglieder der Band Tear Gas (Zal Cleminson, Chris Glen, Hugh und Ted McKenna). Mit dieser Band wurde Harvey zu einem der wichtigsten Musiker des Europäischen Blues-Rock, wobei die Band mit ihrem Sound und ihrer Show auch gut in die frühe Glam-Rockphase passte. Harvey verließ die Band 1976, die anderen Musiker machten zunächst weiter als SAHB without Alex. Im Jahr 1978 stieß Harvey noch einmal zur Band, um das Album Rock Drill aufzunehmen. Danach löste sich die Sensational Alex Harvey Band endgültig auf.
Harvey versuchte sich später mit wenig Erfolg in diversen Projekten. Im Jahr 1982 war er mit der Formation Electric Cowboys auf Tour, als er am 04.02.1982 auf dem Rückweg von Belgien nach England in Zeebrügge einem Herzinfarkt erlag.