Der Ursprung des Namens wird mit dem Gedächtnis Allerseelen in Verbindung gebracht. Dieses knüpft vermutlich an ein vorchristliches Totenfest an, was die zahlreichen, bis heute erhaltenen kultischen Bräuche bezeugen. An der Wende vom Herbst zum Winter die armen Seelen mit Speiseopfern zu bewirten, versprach Erntesegen im darauffolgenden Jahr. Später bedachte man Bedürftige mit „Seelenbroten“ und anderem Gebäck.
Eine weitere nicht belegte, aber volkstümliche Begründung ist, dass ein Bäcker zur Zeit des Dreißigjährigen Krieges in Ravensburg das Gelübde ablegte, jedem Bettler („arme Seele“) jedes Jahr zu Allerseelen ein Brot zu schenken, wenn die Pest an Ravensburg vorbeiziehen würde. Aus dem großzügigen Gelübde wurden aus schwäbischer Sparsamkeit schließlich die (im Vergleich mit Broten kleinen) Seelen.