Der Jarlsberg wurde entwickelt vom Bauern und Unternehmer Anders Larsen Bakke (1815–1899) auf dem Hof Østre Bakke in Våle, Vestfold. Im Amtsblatt für Jarlsberg und Larvik wurde er 1855 erstmals schriftlich erwähnt. Sein Aussehen erinnert an Emmentaler, der mit Schweizer Käsern nach Vestfold gelangte. Jarlsberg wurde in mehreren Käsereien der Gegend hergestellt, die Produktion endete jedoch bald nach Larsen Bakkes Tod. Falsch ist hingegen die Überlieferung, Jarlsberger Käse sei zuerst auf Gut Jarlsberg hergestellt worden; allerdings wurde hier ab 1815 ein Emmentaler nach Schweizer Vorbild hergestellt, so dass sich die Methode von hier aus verbreiten konnte.
Die moderne Variante des Jarlsberger Käses entstand an der Landwirtschaftshochschule in Ås. Ausgehend von Per Sakshaugs Abschlussarbeit über den Zusatz von Propionibakterien bei der Käseherstellung, entwickelte Professor Ole Martin Ystgaard 1956 den heutigen Typ. Der Student Einar Utne Ogre konnte sich bei der Namensfindung mit seinem Vorschlag durchsetzen.