Es war ein kleines Grundstück, das der Bäcker Moritz Schwerdtner von seinen Eltern, dem Schuhmacher Friedrich Moritz Schwerdtner und Johanna Christiane, geb. Goldberg übernommen hatte. Schwerdtner empfand den Standort als ausreichend und ausbaufähig. Ab 1893 holte er sich die nötigen Baugenehmigungen bei der Königlichen Amtshauptmannschaft Dresden-Neustadt. Das Herzstück jeder Bäckerei ist natürlich der Backofen. Schon damals gab es für den Backofen und die dazugehörige Esse besondere Bauvorschriften. "Der Backofen ist 1/2 Stein stark zu wölben mit Ziegeln oder Steinplatten 7 bis 8 cm stark abzudecken und von der Decke mindestens 1 m 15 cm entfernt zuhalten" wurde von der Behörde in der Baugenehmigung handschriftlich vermerkt. Schwerdtner und sein Ofenmaurer leisteten 1893 ganze Arbeit. Der "Altdeutsche Backofen", wie Jahre später die fachliche Bezeichnung lautete, diente noch fünf nachfolgenden Bäckermeistern. Selbst das Jahrhundert-Hochwasser von 1958, das die Backfläche des Ofens überschwemmte, richtet an dem Bauwerk keinen Schaden an. Nicht weil der Ofen baufällig wurde, sondern die bessere Backtechnologie mit Dampfbacköfen führte 1965 zu seinem Abriß.
Ab 1905 war Pfefferküchler Moritz Otto Damme der Besitzer der Bäckerei, welcher diese 1912 an Bäckermeister Martin Harnapp verkaufte. Er führte die Bäckerei und Pfefferküchlerei bis 1919. Über die Gründe seiner Geschäftsaufgabe ist nichts bekannt. Aus dieser Zeit wurden Jahrzehnte später Pfefferkuchenformen und Teile einer Teigbreche, versteckt auf dem Dachboden, gefunden. Ein sicherer Beweis dafür, das damals auch Pfefferkuchenbäckerei in Ottendorf üblich war.