Stavení, která se nacházela na Smíchově v době Mozartově, měla již za sebou dlouhou historii. Podobně jako u mnoha jiných usedlostí, i zde lze spojit předchůdce s nějakou boudou sloužící jako zahradní domek či viniční lis. Také v případě Bertramky byla základem taková stále se rozrůstající hospodářská stavba. K větší přestavbě možná došlo někdy po roce 1743, kdy zdejší pozemky koupil František z Bertramu (Peltranu), podle něhož se usedlost jmenuje. Pokud již tehdy usedlost sloužila k letnímu pobytu, byla to její vedlejší funkce, hlavní náplní staveb zůstala hospodářská činnost. To nakonec vyplývá i z kupní smlouvy, kterou uzavřeli operní pěvkyně Josefína Dušková a její manžel, klavírista a hudební skladatel František Xaver Dušek, s dřívějšími vlastníky, hrabaty Clam-Gallas. Podle popisu tehdy manželé Duškovi získali „vinici za Újezdskou branou ležící, obecně Bertramkou zvanou, dříve Kolbovský dvůr, se všemi k tomu patřícími osetými polnostmi, kuchyňskou zahradou a štěpnicí, obytným domem, sýpkou a stodolou, s pěti kravami a dvěma tažnými voly, vozem a pluhem“. Pastorální idylka podle tehdejších romantických představ, včetně zápachu, šířícího se z chlévů. Nelze se proto divit, že se zde líbilo i osobě nejslavnější, která tu pobývala dokonce dvakrát, Wolfgangu Amadeu Mozartovi. Stále se tu ukazuje jeden z pokojů jako Mozartův, v zahradě nalezneme Mozartovu bustu od Tomáše Seidana z roku 1876, ale také obnovený kamenný stůl, na kterém Mozart údajně komponoval slavného Dona Giovanniho. Asi již za Dušků, kteří byli vlastníky jen do roku 1799, došlo k postupné přeměně blízkého okolí v romantickou anglickou zahrádku se zahradním pavilonem. Usedlost po nějaké době koupil velký Mozartův ctitel Lambert Popelka a jako mozartovskou památku uchovával Bertramku i jeho syn Adolf. I přes velkou péči o zachování památky zničil roku 1871 Bertramku požár, jenž si vyžádal zásadní přestavbu. Odkazem se usedlost dostala v roce 1925 do vlastnictví mezinárodní nadace Mozarteum v Salzburgu, od které ji v roce 1929 odkoupila česká Mozartova obec.