Die Entstehungsgeschichte des Psalms 95 zeigt in exemplarischer Weise, wie sehr der Mendelssohn mit seinen Werken rang. Allen Behauptungen über sein genialisches Wesen zum Trotz sind seine Werke nämlich nicht zuletzt auch das Ergebnis hoher Disziplin, großen Fleißes und eines intensiven Kampfes mit dem Stoff. Im Jahre 1846, zu einem Zeitpunkt also, als er sich auf dem Höhepunkt seiner Meisterschaft befand, schrieb er etwa mit Bezug auf das Oratorium Elias: „Die Stücke, die ich bis jetzt umgearbeitet habe, zeigen mir doch wieder, daß ich Recht habe, nicht eher zu ruhen, bis solch ein Werk so gut ist, wie ich es nur eben machen kann, wenn auch von diesen Sachen die wenigsten Leute etwas hören oder wissen wollen, und wenn auch sehr, sehr viel Zeit dahingeht…“
Auch mit dem Psalm 95 hat sich Mendelssohn erst nach mehreren Umarbeitungen zufrieden gegeben. Die erste Fassung wurde im Frühjahr 1838 fertiggestellt und im Februar 1839 im Rahmen eines Wohltätigkeitskonzertes im Leipziger Gewandhaus aufgeführt. Trotz einer wohlwollenden Kritik arbeitete Mendelssohn das Werk unmittelbar danach um. Eine erste Drucklegung erfolgte im Sommer 1839. Danach beschlichen Mendelssohn neue Zweifel an seinem Werk. An seinen Verleger schrieb er im Juli 1839: „Ich komme ihnen mit diesem Psalm wohl vor wie Penelope mit ihrer Weberei, oder wie der Baumeister vom babylonischen Turm gar – aber ich kann mir nicht helfen.“ In der Folge schrieb Mendelssohn das Werk weitgehend neu. Erst im Sommer 1841 wurde die endgültige Fassung fertiggestellt. Die zweite „Uraufführung“ fand im November 1841 ebenfalls im Gewandhaus statt.
Die Besonderheit dieser Psalm-Vertonung ist, daß es keinen reinen Chorsatz gibt. Mendelssohn bedient sich einer Mischung von Ausdrucksmitteln. Chor und Solopartien wechseln sich ständig ab, wobei Mendelssohn alle Register wohlbewährter Techniken wie Fuge, Kanon, imitierende Polyphonie und responsorialer Gesang zieht.