Считается, что именно James Taylor Quartet стали первой группой, чья музыка получила название «эсид-джаз» (так высказался некий британский журналист в попытках описать их музыкальный стиль). С самого начала своей карьеры в середине 80-х James Taylor Quartet отправились в путешествие по лабиринтам музыки из саундтрэков к шпионским фильмам, соул-джаза и фанка. Изначально сам Джэймс Тэйлор играл на органе Hammond B-3 в английской группе The Prisoners, пытавшейся возродить музыку 60-х годов, а затем он создал свой собственный джаз - квартет в 1985 году и стал играть музыку, сходную с крайне модным в то время в Лондоне рэар-грув-джаз-фанком (rare groove jazz-funk). К началу девяностых это движение дало толчок к возникновению эсид-джаза, и James Taylor Quartet оказался во главе этой развивающегося направления, несмотря на то, что сам Джэймс Тэйлор к тому времени уже был ветераном с десятилетним стажем.

The Prisoners появились в 1982 году в графстве Кент и успели выпустить два альбома — A Taste of Pink и The Wisermiserdemelza — к моменту, когда Тэйлор покинул их в середине восьмидесятых (в конце концов группа распалась, записав еще один студийный альбом). Тэйлор, в свою очередь, быстро организовал квартет в составе бывшего бас-гитариста Prisoners, Элана Крокфорда, ударника Саймона Ховарда и собственного брата Дэвида, игравшего на гитаре. В течение 1985 года The James Taylor Quartet записывали музыку на нескольких маленьких лэйблах, однако, в 1986 выступление на Radio 1 в шоу легендарного Джона Пила принесло группе контракт с Re-Elect the President Records, которые уже в следующем году выпустили их мини-LP кавер-версий Mission Impossible. После выхода The Money Spyder в том же 1987 году James Taylor Quartet подписали контракт с Urban/Polydor на выпуск альбома Wait a Minute. Тем не менее, вскоре после этого Ховард и Крокфорд покинули группу и образовали новый проект Prime Movers совместно с бывшим коллегой по Prisoners Грэхэмом Дэй. Превратившись в дуэт, Джэймс и Дэвид начали собирать сессионных музыкантов для работы над записями, что в результате привело к образованию секстета (при этом название оставили прежним) — Джон Уиллмотт на саксофоне и флейте, Гэри Крокетт на бас-гитаре, ударник Нейл Робинсон и Доминик Гловер — труба. Последовавший контракт с Acid Jazz Records привел к растущим продажам в Америке через сеть Hollywood Records, которые заново выпустили Mission Impossible и The Money Spyder, а также их альбом 1995 года In the Hand of the Inevitable.