Vilu se zahradou si dal vybudovat jindřichohradecký rodák Alois Josef Landfras, český knihtiskař a obrozenecký vydavatel knížek lidového čtení. Ve městě se stal předním činitelem společenského i kulturního života, a to jako radní a v letech 1850-1861 i jako starosta.Vila na Karlově patří k nejvýznamnějším dílům jindřichohradeckého stavitele Josefa Schaffera. Jednopatrový dům v empírovém či klasicistním stylu měl původně obdélný půdorys, kryla ho valbová střecha. Do vily se vstupovalo od města, to jest od východu. Dlouhá klenutá chodba mířila ke vchodu do zahrady, vstupovalo se z ní do dvou místností v přízemí a na dvouramenné schodiště umístěné doprostřed dispozice. Půdorys horního podlaží patrně opakoval schéma přízemku. V roce 1937, na objednávku Marie Landfrasové, architekt Antonín Mečíř přistavěl k vile severní křídlo a změnil tak její obdélný půdorys na téměř čtvercový s obdélně vykrojeným rohem. V zájmu stylového souladu přístavby s původní stavbou Mečíř použil pro členění fasád nového křídla tvarosloví moderního novoklasicismu. Dispozice vily dnes odpovídá stavu po Mečířově dostavbě. Zahradu, architektonické dílo snad ještě významnější než samotná vila, navrhl a v letech 1826-1839 vybudoval Josef Schaffer podle přání majitele. Osvícenský a obrozenecký altruismus se projevil v Landfrasově rozhodnutí, že zahradu nebude užívat jen on sám, nýbrž i veřejnost. Prohlásil o tom v pamětní listině, že zahradu vybudoval „k ozdobě svého milovaného města“.