Mahler est juif et autrichien. C'est dire si son enfance, toujours prompte à affleurer dans cette vie où ne cessent de se côtoyer le martyr et le tyran, doit très tôt assumer un lourd passé. Siècle après siècle, les juifs de l'Empire d'Autriche sont, comme dans toute l'Europe, les victimes de contraintes nouvelles, que de trop rares périodes de tolérance ne sauraient compenser. Cependant, lorsque Mahler naît le 7 juillet 1860 à Kalischt (Kalištè), près d'Iglau (Jihlava), le règne de François-Joseph est marqué par une phase de relative liberté. Mahler a déjà sept ans lorsque l'émancipation définitive des juifs est proclamée. Cette enfance autrichienne aux confins de la Bohême et de la Moravie, berceau de l'agitation nationaliste tchèque, n'est pas sans conflit, car les juifs se sont érigés en fervents défenseurs de la langue et de la culture allemande. Elle est donc en elle-même un isolement, une solitude qui fera dire plus tard à Mahler : « Je suis trois fois sans patrie : un Bohémien parmi les Autrichiens, un Autrichien parmi les Allemands et un juif parmi tous les peuples du monde. »

Le nom de Mahler est alors très courant, et les familles qui le portent sont très nombreuses dans cette région. Le grand-père, Simon Mahler (1793-1865), échappe en 1826 à sa condition de juif errant lorsque est rendu légal son mariage avec Maria Bondy, fille d'un gérant de cabaret et de distillerie à Kalischt : il fait alors partie du nombre limité de familles juives acceptées dans chaque district et exerce la profession de « distillateur ». L'accès des juifs aux grandes villes étant interdit, tous les enfants de Simon s'installeront dans des villages ou des petits bourgs ; le commerce et la tenue d'un cabaret faisant partie des rares professions qui leur sont autorisées : ils tiendront des épiceries, des parfumeries, des cabarets ou des merceries comme celle que Simon ouvre à Deutsch Brod (N<ĕ>ěmecky Brod) après avoir quitté Kalischt en 1860. Bernhard, le père de Mahler, qui naît en 1827, gravit peu à peu les échelons d'une échelle sociale nécessairement limitée : de charretier il devient employé de commerce, puis artisan, puis précepteur, puis enfin propriétaire d'un modeste café. Lorsque ce petit bourgeois songe à se marier, il se tourne vers un assez bon parti, une des filles d'un savonnier de Ledetsch, Abraham Hermann (1807-1868). La cérémonie a lieu le 18 février 1857, après quoi les époux rentrent à Kalischt et s'installent dans la demeure assez cossue qui abrite le café de Bernhard. Autant Marie, qui assumera quatorze maternités, est « une mater dolorosa dont le destin avait fait un modèle de résignation silencieuse » – d'après Adolf Fidelly, un des neveux du couple – autant Bernhard est « un véritable tyran domestique, toujours sombre et souvent ergoteur, toujours difficile à satisfaire », d'après un article paru en 1923 dans un journal viennois. Si difficile à satisfaire que Bernhard fait tout pour quitter Kalischt, ses soixante maisons et ses cinq cents habitants : à la fin de 1860, il obtient enfin le droit de changer de domicile et s'installe avec toute sa famille à trente-cinq kilomètres de là, à Iglau, troisième cité de Moravie qui compte à cette époque 25 000 âmes.

Les Mahler ont alors deux fils (Isidore et Gustav), mais il leur viendra encore douze enfants jusqu'en 1879 : en tout, trois filles et onze garçons, dont sept sont morts à moins de deux ans. Les survivants, outre Gustav, seront : Ernst (1861-1874), Léopoldine (1863-1889), Louis ou Alois (1867-192 ?), Justine (1868-1938), Otto (1873-1895), Emma (1875-1933).