Na Vídeňskou konzervatoř byl Gustav Mahler přijat v září roku 1875. Studoval hru na klavír u profesora Julia Epsteina, kompozici a kontrapunkt u Franze Krenna. Tehdejší konzervatoř vzdělávala především budoucí klavíristy a skladatele – samostatný dirigentský obor ještě neexistoval.
Teprve v roce 1909, po přeměně konzervatoře na státní Vídeňskou akademii, vznikla tzv. kapelnická škola. V Mahlerově době však bylo pro dráhu dirigenta považováno za klíčové všeobecné hudební vzdělání: výborná hra na klavír, schopnost číst partituru, komponovat a improvizovat, stejně jako zvládnutí harmonie a kontrapunktu.
Mahler tedy neměl konkrétního učitele dirigování, přesto mu konzervatorní vzdělání poskytlo vše, co tehdejší dirigent potřeboval – bylo obsáhlé, praktické a umělecky inspirující.
Po dokončení studia přijal Mahler v roce 1880 první místo dirigenta sezónního lázeňského orchestru v Bad Hall v Horních Rakousích. Následně působil:
1881–1882 v Lublani,
1883 jako kapelník Královského městského divadla v Olomouci,
1883–1885 v Kasselu,
1885–1886 v Praze, v německém Královském zemském divadle u intendanta Angela Neumanna.
Zde s velkým úspěchem uvedl Mozartova Dona Giovanniho a Beethovenovu Devátou symfonii.
V letech 1886–1888 působil jako druhý dirigent v Městském divadle v Lipsku, poté 1888–1891 jako umělecký ředitel Královské uherské opery v Budapešti. Následovalo angažmá v Hamburku (1891–1897), kde zastával pozici prvního dirigenta Městského divadla.
V té době už byl Mahler uznávaným dirigentem evropského formátu – s úspěchem hostoval v řadě měst, mimo jiné v Londýně (červen–červenec 1892).
Roku 1897 dosáhl Mahler na nejprestižnější post své kariéry – stal se šéfdirigentem a ředitelem Dvorní opery ve Vídni (Wiener Hofoper).
Spolupracoval zde s výtvarníky Heinrichem Leflerem a Alfredem Rollerem, angažoval nejlepší pěvce a pěvkyně své doby a kladl vysoké nároky na orchestr i inscenační kvalitu.
Jeho působení v letech 1897–1907 znamenalo období rozkvětu vídeňské opery a začátek nové éry inscenování operních děl, v níž se důraz kladl nejen na hudební dokonalost, ale i na celkové jevištní vyznění.
Po odchodu z Vídně v roce 1907 přijal Mahler angažmá v Metropolitní opeře v New Yorku, kde působil až do své smrti. Od roku 1909 zároveň vedl Newyorskou filharmonii.
Během amerického působení koncertoval nejen v New Yorku, ale také v Bostonu, Philadelphii, Pittsburghu a Buffalu. V rámci téměř 300 koncertů uvedl téměř 400 hudebních děl od zhruba 90 skladatelů.
Nejčastěji uváděl díla Richarda Wagnera, Ludwiga van Beethovena, Franze Schuberta, Johanna Strausse, Petra Iljiče Čajkovského, Wolfganga Amadea Mozarta a Felixe Mendelssohna-Bartholdyho. Z českých skladatelů se na jeho programech objevovala díla Bedřicha Smetany a Píseň bohatýrská Antonína Dvořáka.
„Jako geniální dirigent neměl Mahler vážných soků. Všichni znalci hudby a novináři uznávali jeho zásluhy o hudbu a obrození opery, jichž si získal jako dirigent, dramaturg, režisér a rádce zpěváků.“
— T. Fischer, přednáška 21. 3. 1931