Das Violinkonzert schrieb Brahms im Sommer 1878 in Pörtschach am Wörthersee für seinen Freund, den großen Geigenvirtuosen Joseph Joachim. Die Uraufführung fand am 1.1.1879 in Leipzig mit Joseph Joachim als Solisten und Brahms als Dirigenten statt.
Charakteristisch für das Werk ist die symphonische Verflechtung von Orchester- und Violinpart. Brahms übergeht damit die romantische Tradition von Mendelssohn bis Bruch, die das konzertante Element betont, und knüpft an die Violinkonzerte von Mozart und Beethoven an. Wegen des starken Orchesterparts und seiner besonderen technischen Schwierigkeiten ist das Werk gelegentlich auch als Konzert für Violine gegen das Orchester oder als Konzert gegen die Violine bezeichnet worden. Tatsächlich kümmerte sich der Pianist Brahms wenig um Fingersätze und Stricharten der Geiger, sondern gab der musikalischen Konzeption Vorrang vor der Geigentechnik. Zwar hatte er Joseph Joachim die Violinstimme zur Durchsicht auf technische Probleme gegeben. Souverän ließ er jedoch die meisten seiner technischen Änderungsvorschläge außer Acht. Trotzdem bemächtigten sich schon bald die 13-Jährigen des Konzertes. 1896 spielte es in Anwesenheit des gerührten Brahms der 13-jährige Pole Bronislaw Hubermann in Wien; er sollte zu einem der bedeutendsten Interpreten des Konzertes werden. Zur Belohnung ging Brahms mit dem Jungen anschließend in den Prater. 1913 spielte es die ebenfalls 13-jährige Australierin Alma Moodie unter Max Reger in Meiningen und 1929 der 13-jährige Jehudi Menuhin in Berlin unter Bruno Walter.
Heute ist unbestritten, daß das Werk neben den Konzerten von Beethoven und Mendelssohn das bedeutendste Violinkonzert des 19. Jahrhunderts ist. Die zeitgenössische Kritik war sich über den Stellenwert des Werkes jedoch nicht sofort einig. Zwar stellte es bereits der Kritiker der Uraufführung als „Drittes im Bunde“ in eine Reihe mit den Konzerten von Beethoven und Mendelssohn. In einer Berliner Kritik aus dem Jahre 1879 aber wird es als „dürres Geistesprodukt“ bezeichnet. Der Wiener Kritikerpapst Hanslick war sich nicht ganz im klaren, ob das Werk an die beiden großen Vorgänger heranreiche. Er sprach von einem „Musikstück von meisterhaft formender und verarbeitender Kunst, aber von etwas spröder Erfindung und gleichsam mit halbgespannten Segeln auslaufender Phantasie.“ Pablo Sarasate, die zweite große Geigenautorität der Zeit, lehnte eine Aufführung des Konzertes ab, weil es ihm im zweiten Satz die „Geschmacklosigkeit zumute, mit der Geige in der Hand zuzuhören, wie die Oboe dem Publikum die einzige Melodie des ganzen Stückes vorspielt.“ Der Amateurgeiger Albert Einstein hingegen ließ sich nach der oben genannten Berliner Aufführung durch Menuhin zu der Äußerung hinreißen: „Nun weiß ich, daß es einen Gott im Himmel gibt“.