Nachdem Karl Markovics seine professionelle Schauspielerkarriere 1982 am Wiener Serapionstheater begonnen hatte, verbrachte er die ersten zwölf Jahre seiner Karriere als freier Theaterschauspieler. Er trat in Michael Schottenbergs „Theater im Kopf“, ebenso wie in Karl Welunscheks legendärem „Wiener Ensemble“ auf. Es folgten zahlreiche Produktionen als Gast des Wiener Volkstheaters und des Theaters in der Josefstadt.

Seine erste Filmrolle übernahm er 1991 in dem Kinofilm «Hund und Katz» von Michael Sturminger. 1993 spielte er den Kirchingerwirt in Paul Harathers tragikomischem Roadmovie «Indien». Einem breiteren Publikum wurde der zweifache «Romy»-Preisträger in der Kategorie «Beliebtester Schauspieler» (2007 & 2008) als Bezirksinspektor Stockinger, zuerst in der österreichischen Krimiserie «Kommissar Rex», danach in der Spin Off-Serie «Stockinger» bekannt. Es folgten zahlreiche Film-und Fernsehrollen, u. a. in «Drei Herren», «Hinterholz 8», «Late Show», «Komm, süßer Tod», «Franz Fuchs – ein Patriot» und in über 50 weiteren Fernseh- und Kinoproduktionen.
Die Hauptrolle des Salomon Sorowitsch in Stefan Ruzowitzkys Film «Die Fälscher» (2007), der bei der 80. Oscarverleihung als Bester fremdsprachiger Film ausgezeichnet wurde, war Markovics’ bislang größter internationaler Erfolg. 2009 war er zusammen mit anderen österreichischen Filmschaffenden Mitbegründer der Akademie des Österreichischen Films.
2011 gab Karl Markovics mit dem Spielfilm „Atmen“ sein Debüt als Regisseur und Drehbuchautor. Der Film wurde in die Reihe „Quinzaine des réalisateurs“ der 64. Filmfestspiele von Cannes eingeladen, mit 40 internationalen Preisen ausgezeichnet, sowie 2012 mit 6 Österreichischen Filmpreisen prämiert. 2015 folgte sein zweiter Kinofilm „Superwelt“, 2019 „Nobadi“, sowie der TV- Landkrimi „Das letzte Problem“, bei dem er neben der Regie auch die Hauptrolle übernahm.
Neben seiner Tätigkeit vor und hinter der Kamera trat Karl Markovics in den letzten Jahren auch regelmäßig als Interpret von Texten in Verbindung mit Musik in Erscheinung.