Le hard bop prend source dans un mouvement de reconnaissance par les noirs américains de leurs origines, appelé Black is beautiful (« Le Noir est beau ») : un retour aux sources de la musique, à l'Afrique et, en même temps, une réaction agressive (musicalement parlant) au cool jazz (d'où le terme « hard ») surtout dominé par les blancs. L'auteur américain David Rosenthal nota aussi que le hard bop était un développement naturel pendant une époque où des musiciens d'envergure (Tadd Dameron, par exemple) travaillaient et dans le jazz et dans le rhythm and blues.
Même si la plupart des acteurs de ce courant ont fait leur apprentissage dans le style bebop (d'où le terme bop), ce genre musical incorpore les influences du rhythm and blues, du blues et du gospel, notamment dans les jeux du piano et du saxophone.
Les morceaux de hard bop ont généralement un tempo plus lent que le bebop, et si le hard bop en reprend les innovations harmoniques, la part du rythme y est nettement plus marquée, sans doute en raison de la contribution majeure des batteurs Max Roach et Art Blakey. On y découvre d’ailleurs pour la première fois des batteurs compositeurs.
Le hard bop est généralement pratiqué par un quintet composé d’une section rythmique (pianiste, batteur et bassiste) et de deux "soufflants" — communément un saxophoniste ténor et un trompettiste — qui interprètent ensemble un thème entourant une série de solos improvisés tour à tour par chacun des musiciens sur l’harmonie du morceau. .
