Jim nasceu em Londres em 29 de julho de 1923 e, quando criança, sofria de ossos tuberculares, o que significava que ele passava boa parte de seus primeiros anos hospitalizado aos 13 anos de idade. Por sugestão de seu pai, ele começou a sapatear para fortalecer os ossos. pernas e ele logo descobriu que ele tinha um talento para a música. Posteriormente Jim pegou a bateria e no final dos anos 1930 ele estava ensinando e tocando profissionalmente. Depois de mais de 20 anos na estrada em 7 de julho de 1962, Jim abriu uma loja de música, Jim Marshall and Son, em Hanwell, Londres.

A loja vendeu uma variedade de instrumentos musicais e atraiu muitos jovens talentos emergentes, como Pete Townshend e Ritchie Blackmore, que eram amigos dos estudantes de bateria de Jim. Respondendo a pedidos de uma nova geração de amplificadores, Jim e sua equipe trabalharam para produzir os seus próprios. O primeiro amplificador agora conhecido como ‘Number One’ (que está em exibição na fábrica Marshall em Bletchley), atraiu 23 pedidos no primeiro dia de loja em setembro de 1962 e se tornaria o primeiro de muitos amplificadores JTM45