Впервые Джимми взял в свои руки гитару еще в 12-летнем возрасте. Изначально музыкальный инструмент не шибко заинтриговал молодого человека, в результате чего гитара очутилась на чердаке.
И лишь после того, как подросток услышал песню короля рок-н-ролла Элвиса Пресли под названием Baby, Let’s Play House, молодой человек вспомнил о своем заброшенном инструменте. Взяв табулатуры, он стал разучивать этот хит, совершенствуя свое мастерство. С тех самых пор Джимми не расставался с гитарой ни на один день.
В процессе работы над первым альбомом Led Zeppelin Пэйдж использовал 1958 Telecaster, 10-струнный Fender 800 а также педал-стил-гитару. Начиная со второго альбома и далее его основным инструментом стал Gibson Les Paul с набором усилителей Marshall. Позднее он не раз возвращался к Фендеру — в частности, на нем исполнил соло в Stairway to Heaven. Для партий слайд-гитары Пэйдж использовал Danelectro DC-59. В числе эффектов, использовавшихся им в студии, были Vox AC30, фуззбокс Sola Sound Tone Bender Professional MKII («How Many More Times»), терменвоксом и педаль wah-wah (с последней он обращался не как это делали Джими Хендрикс и современники, а по-своему: каждый раз вжимая ее в дальнее положение для получения более заострённого звука).
Сенсацию произвела использованная Пэйджем в Dazed and Confused и How Many More Times техника смычковой игры на гитаре. До Пэйджа так играл Эдди Филипс, гитарист The Creation, но гитарист Led Zeppelin (в MTV Rockumentary) рассказал о том, что перенял эту технику у другого сессионного музыканта, Дэвида Маккаллума-старшего.
Пэйдж рассказывал, что сознательно менял звукоинженеров для работы с альбомами группы (Глин Джонс, Эдди Крэймер, Энди Джонс), чтобы у тех не появилось повода позже заявить, что это они создали звучание группы.
