Jan Wiernek z rodu Gabańskich (chorąży Jana Zamoyskiego oraz uczestnik bitwy pod Chocimiem) przed 1627 rokiem wybudował obronny dwór w Witowicach dolnych.
Była to piętrowa budowla w stylu renesansowej kamienicy - z kwadratową wieżą oraz dachem przesłoniętym attyką. Dwór ten istniał do 1818 roku, kiedy to został rozebrany przez ówczesnego właściciela wsi - Kazimierza Gostkowskiego.
Gostkowski wykorzystał pozostałe po rozbiórce materiały budowlane na wzniesienie pobliskiej gorzelni.
Witowice pozostały w jego rękach do 1873 roku, później były własnością Aleksandra Dąbczańskiego, a następnie rodziny Piłatowskich.
W 1892 roku Witowice zakupił Fryderyk August hr. Brezie. Na przełomie XIX i XX wieku wybudował on w Witowicach istniejący do dzisiaj klasycystyczny, parterowy dwór, a w 1911 roku przekazał go swoim dzieciom - Marii oraz Edwardowi. Edward Breza był miłośnikiem sztuki, dlatego utworzył w dworze rodzinne muzeum. Gospodarował on majątkiem do 1939 roku, jednak został aresztowany za działalność konspiracyjną. Zmarł w obozie w Oświęcimiu w 1943 roku.
Po II wojnie światowej dwór został rozparcelowany.
Dopiero w 1994 roku dwór zyskał nowych właścicieli, został generalnie odremontowany i ponownie pełni funkcję mieszkalną.
Historia tego oraz wielu innych dworów opisana jest w książce Marzanny Raińskiej pt. "Dwory Małopolski w fotografii archiwalnej".