Тот классический биг-бэнд К. Бэйси отличался исключительно горячей свинговой ритм-группой, игравшей в манере «фоур-бит», неизменной приверженностью к блюзовой структуре и привлекательными аранжировками с использованием риффов. Его знаменитая группа ритма, куда помимо Джонса с самого начала входили басист Уолтер Пэйдж, гитарист Фредди Грин (с марта 1937 г.) и сам лидер за фортепиано, тогда получила громкое наименование «Аll American Rhythm Section», которого, впрочем, заслуживает и до сих пор.
Современное искусство игры на ударных инструментах сделало свой первый большой шаг к зрелости именно благодаря Джо Джонсу, когда его бит на тарелках опередил идеи всех его коллег. Если раньше ударники играли стаккато и не очень заботились об оттенках аккомпанемента, то у Джонса был не менее захватывающий, непрерывный бит, но играл он его легато, поддерживая музыкальное действие и активно помогая ему. Если прежде великие ударники (Чик Уэбб, Джин Крупа, Сид Кэтлетт, Кози Коул) обычно наполняли ритм-группу и весь бэнд своим мощным драйвом на большом барабане, то Джонс ослабил драйв правой ноги, используя её только для отдельных акцентов и лишь напоминая слушателю о бите, а не настаивая на нём. И это было беспрецедентно в истории свинга.
Кроме того, Джо Джонс был первым последовательным сторонником ровного четырехударного метра. «Легче свинговать, — говорил он, — когда каждой ноте ударник придаёт полный бит. В каждом такте — четыре удара, которые должны быть равномерны как дыхание, в противном случае свинга уже не будет». Действительно, равномерность четырёх ударов («фоур-бит») создавала son continue, — непрерывное звучание свингового ритма в отличие от старинного прыгающего ту-бита в диксиленде. Наконец, в своей игре Джонс ярко и артистично соединил блестящую технику с лёгкостью, юмором и воображением. Недаром в течение нескольких десятков лет им восхищались джазмены всех стилей и направлений, охотно приглашая этого необыкновенного барабанщика на многочисленные сессии записи.
За исключением времени службы в армии Джо Джонс постоянно играл в оркестре Каунта Бэйси целых четырнадцать лет. Он как-то заметил по этому поводу: «Если говорить о музыкальном богатстве, то я — самый богатый ударник, который жил за последние 50 лет, потому что никто не имел того, что я, никто не имел такого удовольствия день за днём играть с таким бэндом. Нигде больше никогда не было ничего подобного». Однако в 1948 г. он ушёл от Каунта в гастрольную труппу «Jazz at the Philharmonic» Нормана Гранца, а затем многие годы вёл жизнь «свободного художника», выступая в джаз-клубах, на концертах и фестивалях с Иллинойсом Джекетом, Лестером Янгом, Эллой Фитцджеральд и Оскаром Питерсоном, с группой «Swingmasters» Бенни Картера и даже с танцорами-чечёточниками Милта Бакнера, в Европе и США, включая участие в американском телесериале «Route 66» вместе с Этель Уотерс, Коулменом Хокинсом и Роем Элдриджем.
