Wird man 1898 als 14. von 18 Kindern in einem kleinen Dorfgasthaus in Gaaden bei Mödling geboren, so ist die Wahrscheinlichkeit gering, eine internationale Musikerkarriere zu machen; auch wenn der Ort in einer - wie ein Journalist einst so treffend formulierte - "musikverseuchten Umgebung" liegt und der Vater im Wirtshaus gerne aufspielte.

Das musikalische Talent des jungen Karl Rankl erkannten jedoch Wiener Sommergäste; sie unterstützten Karls Ausbildung und blieben ihm durch Jahrzehnte freundschaftlich verbunden. Nach einem Umweg über die Handelsakademie und durch die Gräben des Ersten Weltkriegs fand Rankl in Arnold Schönberg einen charismatischen Lehrer, der ihn in kürzester Zeit in Kontrapunkt, Harmonielehre, Instrumentation und Musikanalyse unterwies - und dem er bis zuletzt in tiefer Verehrung verbunden blieb.

Die Wertschätzung beruhte durchaus auf Gegenseitigkeit: Schönberg lud den jungen Rankl zur Mitwirkung im Verein für musikalische Privataufführungen ein; später nannte er Rankl einen seiner Lieblingsschüler, auf dessen Karriere er stolz sei. Als Schönberg gegen Ende seines Lebens erkannte, dass er die begonnene "Jakobsleiter" nicht mehr fertig stellen könne, bat er Rankl, der mit seinem Orchesterstil vertraut sei, um deren Instrumentierung. Dass Rankl diese letzte Bitte Schönbergs trotz ehrlichen Bemühens nicht erfüllen konnte, war auch seiner damaligen Arbeitslast als Operndirektor von Covent Garden geschuldet.

Assistent von Klemperer

Schönberg verlangte von seinen Schülern die Beherrschung der klassischen Musiktradition, damit sie imstande wären, die zeitgenössische Musik zu verstehen bzw. in deren Formensprache zu komponieren. Nach einem ergänzenden Kapellmeisterkurs bei Anton Webern wandte sich Karl Rankl zunächst der reproduzierenden Kunst zu und wurde Korrepetitor und Chorleiter an der Wiener Volksoper.

Mit der großbürgerlichen Welt kam er bei Musikabenden im Hause Jahoda in Berührung. Als er die Tochter Adele Jahoda heiratete, stieg der Druck, eine dauerhafte Stellung anzunehmen. Er ging als Kapellmeister nach Reichenberg, dann nach Königsberg und erzielte seine ersten Erfolge als temperamentvoller Operndirigent. Von der Kritik wurden ihm glänzende Aufführungen attestiert. Seine Musikbesessenheit und sein Ehrgeiz brachten ihn für drei Jahre als Assistent Otto Klemperers nach Berlin an die Krolloper.

Er leitete den Krollchor, assistierte bei Neueinstudierungen und vertrat Klemperer bei Bedarf am Pult; dies vorwiegend bei zeitgenössischen Opern. Daneben leitete er den Berliner Schubert Chor, dessen Programm er radikal veränderte. Statt alter Volkslieder wurden nun revolutionäre Tendenzlieder einstudiert. Sehr wirkungsvoll brachte Rankl einige Arbeiterchöre von Hanns Eisler, seinem Studienfreund aus der Schönberg-Zeit, zur Uraufführung. Er erzielte damit zwar einen künstlerischen Erfolg, aber keine Breitenwirkung.