Rodina Bernarda a Marie Mahlerových se synem Gustavem přišla do Jihlavy na podzim roku 1860 z Kališť u Humpolce. Usadili se v domě čp. 265 v dnešní Znojemské ulici 4, jehož počátky sahají až do 16. století. Dům získal svou současnou podobu při klasicistní přestavbě, kdy byl zvýšen o druhé patro a ozdoben historizující fasádou.
V přízemí otevřel Bernard Mahler nálevnu a věnoval se výrobě a prodeji pálenky a likérů. Díky úspěchu podnikání koupil v roce 1872 sousední dům čp. 264 (dnes Znojemská 6), kde rodina začala o rok později bydlet. Mladý Gustav zde strávil své dětství a mládí až do roku 1875, kdy odešel studovat na vídeňskou konzervatoř.
Po druhé světové válce byl dům č. 4 konfiskován jako německý majetek a přešel do vlastnictví města, později státu. Od 50. let až do počátku 90. let sloužil jako ubytovna podniku Moravské kovárny Jihlava.
V 90. letech minulého století prošel dům rozsáhlou rekonstrukcí díky spolupráci česko-německého Spolku Dům Gustava Mahlera a města Jihlavy. Od roku 2001 jej provozovala Městská knihovna Jihlava a prostory sloužily k výstavním účelům.
V roce 2006 zde vznikla první stálá expozice „Mladý Gustav Mahler a Jihlava“, která přiblížila Mahlerovo jihlavské období.
Po rekonstrukci galerijních a expozičních prostor byl Dům Gustava Mahlera znovu otevřen veřejnosti v září 2009. Od roku 2021 je provoz zajišťován příspěvkovou organizací Brána Jihlavy.
Současná expozice představuje Mahlerův jihlavský svět – město, v němž vyrůstal, i soužití Čechů, Němců a Židů v 19. století. Kromě toho zde návštěvníci najdou i miniexpozici věnovanou sochaři Janu Koblasovi, autorovi sochy a parku Gustava Mahlera v Jihlavě, a také díla výtvarnice a módní návrhářky They Weltner, rodačky z Jihlavy.
Na fasádě domu č. 4 je umístěna pamětní deska akademického sochaře Milana Knoblocha, odhalená 19. června 1960 při oslavách 100. výročí narození Gustava Mahlera. Připomíná, že v domech č. 4 a 6 ve Znojemské ulici prožil skladatel své dětství v letech 1860–1875.
