Joseph Joachim nació el 27 de mayo de 1822 en Lachen, Suiza. Hijo de un comerciante judío, Joachim se trasladó en 1833 a Budapest y recibió ahí sus primeras lecciones de violín de un concertino polaco de la Opera Real de Pest. A los siete años fue enviado a Viena donde estudió con Joseph Böhm. Integró el Cuarteto de Niños de Joseph Hellmesberger, asistió al Conservatorio de Viena y concluyó sus estudios a los doce años.

Los siguientes años en Leipzig, donde Mendelssohn se convirtió en su mentor y modelo, formaron la personalidad artística de Joachim. Mendelssohn se preocupó de que Joachim siguiera siendo instruido no sólo en el violín sino también en las humanidades y en el arte de la composición. Llevó a Joachim a Londres y éste interpretó el concierto para violín de Beethoven logrando la aclamación de la crítica. El extenso concepto de Mendelssohn del arte y la personalidad artística le dieron al joven violinista y compositor una clara orientación tanto musical como de desarrollo personal.

Joachim tenía 16 años cuando Mendelssohn murió. La pérdida de su querido mentor le dejó devastado y el posterior periodo fue difícil. En 1849 fue a Weimar, donde conoció a Liszt y a Wagner, trabajó como concertino y compuso. Entonces creció su determinación de profundizar en los ideales musicales de Mendelssohn.

En el otoño de 1852 Joachim firmó un contrato para ir a Hannover. La ciudad sería su hogar por los siguientes quince años, periodo en el cual influyó la vida musical de la ciudad actuando como director y solista. Los años en Hannover también estuvieron marcados por una estrecha amistad con Johannes Brahms y Clara Schumann (Robert Schumann murió en 1856), su matrimonio con la cantante de ópera Amalie Schneeweiss y un desarrollo musical personal que, según las palabras de un crítico contemporáneo, “le permitió sobrepasar la virtuosidad de hoy para servir al arte genuino y verdadero”.

Joachim se atrevió a presentar las obras para violín solo de Johann Sebastián Bach en público e interpretó tanto sus propias composiciones como las de otros jóvenes creadores de la época.

En 1866 Hannover pasó a los prusianos, Joachim dejó la orquesta y dos años después aceptó el cargo de director fundador de la Real Academia de Música de Berlín. Ahí estableció su propia orquesta y el legendario Cuarteto Joachim.

Estuvo activo como intérprete y profesor por casi cuatro décadas hasta su muerte, acaecida el 15 de agosto de 1907. La Academia honró al difunto profesor con un gran funeral y el escultor Otto Lessing realizó un busto de Joachim para la ocasión. En junio de 1913 se instaló un monumento a Joachim en el foyer de la sala de conciertos de la academia. En 1936 y 1938 los nazis removieron tanto el busto como el monumento de la academia en un intento por borrar de la memoria al gran artista, profesor y compositor.