V letech 1907-1908 vzniklo v jižní části Českého Krumlova, v sousedství administrativní budovy papírenské firmy„Ignaz Spiro u. Söhne”, sídlo tehdejšího ředitele papírny dr. Otto Schwarze. Podobně jako rodina Spirových, byli Schwarz i jeho žena Margarethe židovského vyznání. Vazby s pražským židovským prostředím, odkud paní Schwarzová pocházela, patrně ovlivnily volbu architekta. Projekt manželé Schwarzovi zadali Pražanovi Victoru Kafkovi, který si však po ukončení vídeňských studií otevřel ateliér ve Vídni. V Krumlově vytvořil Kafka dům, v němž se prolnulo dědictví středoevropského baroka s anglickou a aktuální vídeňskou modernou. Hlavní, osově souměrné východní průčelí, orientované do vltavského údolí, lemovaly na nárožích barokizující polygonální pavilony, hmotu vily korunovala vysoká prejzová mansardová střecha, prvek taktéž známý z doby baroka. Vlastní plocha průčelí se však ve svém střízlivém formálním aparátu, sestávajícím pouze z hrubé omítky a hustého bílého rastru okenních rámů, hlásila k architektuře vídeňské moderny. Vliv Angličanů, patrný na zevnějšku vily v motivu dřevěných arkýřových oken, se u sídla manželů Schwarzových nejvýrazněji projevil v jeho interiéru. Ústředním prostorem vnitřní dispozice se stala patrová schodišťová hala. Od klasických hal anglické vilové architektury se sice tato hala utvářením svého prostoru značně odchýlila, využívala však stále řadu jejich prvků. Nad dveřmi do salonu a nad protilehlým výklenkem bychom našli dekorativní lunetové obrazy vídeňského malíře Theodora Brucknera, švagra spoluvlastníka krumlovské papírny Emanuela Spira. Nové potřeby rodiny si vynutily v letech 1924-1925 adaptaci vily, provedenou opět podle projektu Victora Kafky. V roce 1938 byla vila jako židovský majetek zabavena a začleněna do majetku rovněž zabavené Spirovy papírny.