In den 80er Jahren erschien Mahler in den Sommermonaten regelmäßig in Jihlava und von Zeit zu Zeit trat er im Stadttheater als Musiker oder Dirigent auf. In den Jahren 1878–1883 verbrachte er einen Teil seiner Ferien und Urlaube bei seinem Freund und Mitschüler Dr. jur. Emil Freund in Želiv in der Nähe von Humpolec. Aus diesen Jahren stammen einige Belege aus dem Rekrutenverzeichnis, die seine Person betreffen und Auskunft über Mahlers Gesundheitszustand geben. Bei der ersten Musterung in Wien 1880 war er wegen seiner körperlich schwächlichen Konstitution als wehruntauglich eingestuft worden; ein Jahr später wurde er wegen seiner starken Kurzsichtigkeit komplett aus dem Rekrutenverzeichnis gestrichen. Dadurch war er zur Zahlung der Militärsteuer verpflichtet.
Einen wichtigen Meilenstein im Leben von Gustav Mahler stellte das Jahr 1889 dar; als seine beiden Eltern sowie seine älteste Schwester Leopoldine starben. Zuerst starb am 18. Februar im Alter von 62 Jahren sein Vater, am 27. September starb in Wien im Alter von 26 Jahren seine Schwester Leopoldine, verheiratete Quittner. Einige Tage später, am 11. Oktober erlitt er mit dem Tod seiner Mutter den größten Verlust. Beide Eltern wurden auf dem jüdischen Friedhof in Jihlava beigesetzt, ihre letzte Ruhestätte markiert ein hoher Grabstein aus dem dunklen Stein.
Gustav löste den Haushalt auf, um dann mit seinen Geschwistern Jihlava für immer zu verlassen. Angeblich nahm er nur einen alten Sessel seines Vaters mit. Aufgrund eines Gerichtsbeschlusses wurde er als der älteste von den Geschwistern zum Vormund seiner minderjährigen Brüder Alois und Otto und seiner Schwestern Justine und Emma. Er bemühte sich, allen eine gute Zukunft zu sichern, als Direktor der Königlichen Oper in Budapest mit dem Gehalt von 10.000 Gulden verfügte er dazu glücklicherweise über die notwendigen finanziellen Mittel. Seine Lieblingsschwester Justine, mit der er Erinnerungen an seine Mutter verband, führte ihm einige Zeit in Budapest und später in Hamburg den Haushalt. Beide Schwestern heirateten die Brüder Rosé, von denen Arnold – der Ehemann von Justine – als Konzertmeister der Wiener Philharmoniker wirkte. Vor der Hochzeit konvertierten beide Schwestern zum evangelischen Glauben. Der jüdische Glauben spielte auch im Leben von anderen Geschwistern keine wesentliche Rolle, wie auch Gustavs Konvertieren zum katholischen Glauben im Februar 1897 in Hamburg oder das Beispiel des Bruders Alois, der den Glauben gleich zwei Mal wechselte, zeigen. Die Schicksale der beiden Brüder sind sehr bewegt: der musikalisch talentierte Otto, Absolvent des Wiener Konservatoriums, erschoss sich 1895 in Wien und der ältere Alois, ein erfolgloser Händler, ging am Anfang des 20. Jahrhunderts nach Amerika und brach somit jegliche Kontakte zu seiner Familie ab.
Die Geschwister Mahlers kehrten nie wieder in ihre Heimatstadt zurück. Gustav hielt hingegen den Kontakt zu Jihlava zwar sporadisch aber immer noch aufrecht. Einerseits betreute er hier über einen Zeitraum von zehn Jahren den Nachlass seiner verstorbenen Eltern, andererseits hatte er hier bis zu seinem Tode das Heimatrecht. Er vergaß auch seine Freunde nicht, zu denen zweifelsohne sein Musiklehrer Jindřich Fischer und sein Sohn Theodor, später Präsident des Landgerichts in Jihlava, gehörten, denen er Briefe und Ansichtskarten aus den Orten seines Wirkens sandte. Von Zeit zu Zeit machte die lokale deutsche Zeitung „Mährischer Grenzbote“ auf den immer berühmteren Landsmann aufmerksam. Im Jahr 1902 heiratete Gustav Alma Maria Schindler (1879–1964), die Tochter des ausgezeichneten Wiener Landschaftsmalers Jakob Emil Schindler (1842–1892). Alma war musikalisch sehr gebildet, studierte Komposition bei Alexander von Zemlinskij, komponierte selbst Lieder und Mahler vertraute ihr, so Alma Mahler, Arbeit beim Korrigieren der Handschriften und Unterlagen an. Die Begegnung der zweiundzwanzigjährigen Alma, die als schönstens Mädchen Wiens galt, mit dem neunzehn Jahre älteren damals bereits hochgeschätzten auch wenn nicht immer verstandenen Komponisten mit der gesicherten Stelle als Direktor und Dirigent der Wiener Hofoper, war zweifelsohne schicksalhaft. Aus der Ehe stammten zwei Töchter: Maria Anna (1902–1907) und Anna Justine (1904–1988). Die zweite Tochter, Anna Justine (†1988), wurde später Bildhauerin und hatte selbst zwei Töchter – Alma (*1930) und Marina (*1943).
„Ich fühlte mich in den ersten Jahren sehr unsicher neben Mahler. […] Und es ist merkwürdig, von dem Moment seines geistigen Sieges an übersah mich Mahler und fing erst wieder an, mich zu lieben, als ich mich von seiner tyrannischen Suggestion befreit hatte. Einstweilen spielte er die Rolle des Lehrers, unerbittlich streng und ungerecht. Er machte mir sozusagen die Welt ungenießbar – zum Abscheu!
Das heißt, er versuchte es: Geld – Tand! Kleider – Tand! Schönheit – Tand! Reisen – Tand! Nur der Geist allein! Ich weiß heute, daß er Angst vor meiner Jugend und Schönheit hatte und mich ungefährlich machen wollte, indem er mir alles Lebendige, mit dem er nichts anzufangen wußte, einfach fortnahm. Ich war das Mäderl, das man begehrt hatte und das man nun erzog.“ (MAHLER, Alma: Erinnerungen an Gustav Mahler. Frankfurt a. Main, Berlin, Wien, 1978, S. 69.)
Nach Mahlers Tod wurde der ausgezeichnete amerikanische Architekt deutscher Herkunft Walter Gropius (1883–1969) Alma Mahlers Ehemann, ihre dritte Ehe schloss sie mit dem Dichter Franz Werfel (1890–1945). Bis zum Ende ihres Lebens bezeichnete sie sich jedoch als „Gustav Mahlers Witwe“.
Der zähe und unermüdliche Musiker Gustav Mahler, der als Dirigent oder Direktor der Opernhäuser in verschiedenen europäischen Städten (siehe Kapitel „Dirigent und Operndirektor“) wirkte, überarbeitete sich häufig bis zur Erschöpfung. Am 21. Februar 1911 dirigierte er sein letztes Konzert in New York, wo er ein Engagement hatte. Zu dieser Zeit war er bereits krank. Die Ärzte in Amerika, Paris und anschließend in Wien konnten ihm jedoch nicht mehr helfen. Gustav Mahler starb am 18. Mai 1911 in Wien. Der Mährische Grenzbote berichtete am 21. 5. 1911 über Mahlers schwere Krankheit; noch in der gleichen Nummer erschien eine Nachricht über seinen Tod mit einem kurzen Nekrolog. Das Programm des Gymnasiums in Jihlava, herausgegeben am Ende des Schuljahrs 1910/11, veröffentlichte über sein Ableben einen einzigen Satz: „Am 18. Mai 1911 starb der ehemalige Schüler der Anstalt Herr Gustav Mahler, der als Komponist und Direktor der k.. Hofoper weit über sein engeres Heimatland berühmt worden ist“. Ein Nekrolog mit seiner Fotografie erschien ebenfalls im Deutschen Volkskalender für die Iglauer Sprachinsel für das Jahr 1912.
Gustav Mahler wurde auf dem Friedhof Grinzing in Wien beigesetzt. Sein Grab ist mit einem einfachen Grabstein geschmückt, der von einem der bedeutendsten europäischen Architekten Josef Hoffmann (1870–1956) entworfen wurde, einem Landsmann aus Brtnice und genauso wie Mahler Absolvent des Gymnasiums in Jihlava. Seinem Wunsch gemäß, steht auf dem Grabstein nur sein Name: „Die mich suchen, wissen, wer ich war, und die anderen brauchen es nicht zu wissen.“ (BLAUKOPF, Kurt: Gustav Mahler oder der Zeitgenosse der Zukunft. Wien, München, Zürich 1969, S. 281.)