Základní vzdělání získal Gustav Mahler pravděpodobně v chlapecké farní hlavní škole sv. Ignáce v dnešní Křížové ulici. O tomto období se dochovalo jen minimum informací – školní záznamy se nezachovaly.
Na podzim roku 1869 nastoupil Mahler na německé gymnázium v Hluboké ulici č. 1, tehdejší Im Jesuitengarten (od roku 1878 Tiefegasse). Budova z roku 1727 s pozdější přístavbou z poloviny 19. století stojí dodnes – dnes v ní sídlí Městská knihovna Jihlava.
Hned v prvním semestru na sebe Mahler upozornil poctivým činem – odevzdal nalezenou peněženku s vyšší finanční částkou. Případ byl v celém městě veřejně oznámen a přinesl mu uznání.
Ve škole se Mahler zpočátku učil dobře – první rok skončil 22. ze 49 žáků, o rok později 16. ze 40.
V té době měl již za sebou své první veřejné klavírní vystoupení (13. října 1870 v Městském divadle). Otec Bernard, nadšený synovými úspěchy, mu chtěl dopřát lepší vzdělání a zařídil mu přestup na gymnázium v Praze.
Gustav bydlel u profesora Grünfelda na Starém Městě, kde také studoval hudbu. Pražské studium však skončilo neúspěchem – mladý Mahler propadal z většiny předmětů a byl nucen se vrátit zpět do Jihlavy, kde pokračoval na původním gymnáziu.
Mahler ukončil řádné studium gymnázia v 6. ročníku. Díky doporučení Gustava Schwarze, správce statku Moravany, otec Bernard rozhodl syna poslat na Konzervatoř do Vídně – pod podmínkou, že nejprve dokončí gymnázium a složí maturitu. „To je rozený muzikant!“, prohlásil Julius Epstein při přijímací zkoušce Gustava Mahlera na konzervatoř
Další dva roky proto Gustav docházel do školy jako privatista – do Jihlavy se vracel skládat zkoušky a o prázdninách.
V rámci podpory školy uspořádal 12. září 1876 koncert ve velkém sále hotelu Czap na nákup učebních pomůcek pro gymnázium. Jeho studijní výsledky se však zhoršovaly – poslední semestr zakončil se čtyřmi nedostatečnými.
Od maturity v řádném termínu 6. července 1877 odstoupil a zkoušku složil až 12. září, kdy ho komise nechala projít.
Během gymnaziálních let navázal Mahler přátelství, která ho provázela celý život. Patřili k nim Josef Steiner, Quido Adler – později významný vídeňský muzikolog, Emil Freund, jeho právní zástupce, a Theodor Fischer, syn jihlavského učitele hudby.
V říjnu 1877 Mahler vstoupil na Filozofickou fakultu Vídeňské univerzity, kde dva roky studoval filozofii, historii a dějiny hudby. V červnu 1878 úspěšně ukončil Vídeňskou konzervatoř a v květnu 1880 nastoupil své první dirigentské angažmá v lázeňském městě Bad Hall v Horních Rakousích.
