Heize den Ofen auf 180 °C Ober-/Unterhitze vor und fette eine Backform gründlich ein.
Schlage die Butter mit Zucker und Vanillezucker cremig auf, bis die Masse hell und luftig ist. Gib die Eier einzeln hinzu und rühre sie gut unter.
Vermische Mehl, Backpulver, Salz und Spekulatiusgewürz in einer separaten Schüssel und gib die Mischung abwechselnd mit der Milch zum Butter-Ei-Gemisch. Rühre alles zu einem glatten Teig.
Hebe die zerbröselten Spekulatius-Kekse vorsichtig unter und fülle den Teig in die vorbereitete Form. Backe den Spekulatius-Kuchen 45-50 Minuten, bis er goldbraun ist und ein Holzstäbchen sauber herauskommt.
Lass den Kuchen kurz in der Form abkühlen, stürze ihn dann auf ein Kuchengitter und lass ihn vollständig erkalten.