Gustav Mahler erhielt seine elementare Ausbildung höchstwahrscheinlich an der Pfarrknabenschule St. Ignaz in der heutigen Křížová-Straße. Über diese Zeit ist nur wenig bekannt, da keine Schulunterlagen erhalten geblieben sind.
Im Herbst 1869 trat Mahler in das deutsche Gymnasium in der Hluboká-Straße 1 ein, das damals Im Jesuitengarten (ab 1878 Tiefegasse) hieß. Das Gebäude aus dem Jahr 1727 mit einem späteren Anbau aus der Mitte des 19. Jahrhunderts steht noch heute und beherbergt die Stadtbibliothek Jihlava.
Bereits im ersten Semester machte Mahler durch eine ehrliche Tat auf sich aufmerksam – er gab eine gefundene Geldbörse mit einem größeren Geldbetrag zurück. Der Vorfall wurde in der ganzen Stadt bekannt gemacht und brachte ihm Anerkennung ein.
Seine schulischen Leistungen waren anfangs gut – im ersten Jahr belegte er den 22. Platz von 49 Schülern, im zweiten den 16. von 40.
Zu dieser Zeit hatte Mahler bereits sein erstes öffentliches Klavierkonzert gegeben (am 13. Oktober 1870 im Stadttheater Iglau). Sein Vater Bernard, begeistert von den Erfolgen seines Sohnes, ermöglichte ihm den Wechsel an ein Gymnasium in Prag.
Gustav wohnte bei Professor Grünfeld in der Prager Altstadt, wo er gleichzeitig Musik studierte. Das Studium verlief jedoch ohne Erfolg – Mahler scheiterte an den höheren Anforderungen, fiel in den meisten Fächern durch und musste nach Iglau zurückkehren, wo er mit besseren Ergebnissen weiterlernte.
Mahler schloss das reguläre Gymnasialstudium im 6. Jahrgang ab. Auf Empfehlung von Gustav Schwarz, dem Verwalter des Gutes Moravany, entschied sein Vater, ihn an das Wiener Konservatorium zu schicken – unter der Bedingung, dass er zuvor das Gymnasium abschließt und die Matura besteht. „Er ist ein geborener Musiker!“. Diesen Satz sprach der Professor des Wiener Konservatoriums Julius Epstein bei einer Aufnahmeprüfung, bei der Mahler auch mit einem eigenen Werk aufwarten konnte.
In den folgenden zwei Jahren besuchte Gustav das Gymnasium als Privatist. Für Prüfungen kehrte er regelmäßig nach Iglau zurück und verbrachte dort auch die Ferien.
Zur Unterstützung der Schule veranstaltete Mahler am 12. September 1876 ein Benefizkonzert im großen Saal des Hotels Czap zugunsten des Gymnasiums. Seine schulischen Leistungen verschlechterten sich jedoch – im letzten Semester erhielt er vier ungenügende Noten.
Von der regulären Matura am 6. Juli 1877 trat er zurück und stellte sich der Prüfung erst am 12. September, als ihn die Kommission wohlwollend bestehen ließ.
Während seiner Gymnasialzeit knüpfte Mahler Freundschaften, die ihn ein Leben lang begleiteten. Dazu gehörten Josef Steiner, Guido Adler – später ein bedeutender Wiener Musikwissenschaftler –, Emil Freund, Mahlers Rechtsvertreter, sowie Theodor Fischer, der Sohn seines Jihlavaer Musiklehrers.
Im Oktober 1877 immatrikulierte sich Mahler an der Philosophischen Fakultät der Universität Wien, wo er zwei Jahre Philosophie, Geschichte und Musikgeschichte studierte. Im Juni 1878 schloss er das Wiener Konservatorium mit großem Erfolg ab, und im Mai 1880 erhielt er sein erstes Dirigentenengagement im Kurort Bad Hall in Oberösterreich.