Huset stammer fra en stor købmandsgård, hvor dette hus lå i Jomfru Anegade.
Stenhuse var sjældne i de danske købstæder, da kun få borgere i 1600- og 1700-tallet havde råd til sådant prestigebyggeri.
Huset er genopført i Den Gamle By i 1926. Aalborggården består af 5 bygninger, som også oprindelig var naboer.