Sunde debuterte i 1982 med diktsamlingen Hakk i hæl, og har siden bok nummer to, Fra dette punktet trekker jeg en omkrets (1983), utviklet et forfatterskap som gjennom ulike sjangere: dikt, essays, prosatekster og romaner, danner en merkverdig, mangslungen helhet. Et selvbiografisk materiale kombineres med refleksjoner omkring et stort historisk stoff og tanker som henter idémessig tilfang fra så vel antikk som moderne kunst og filosofi.

Sundes prosa er formmessig utfordrende, preget av lange, slyngende setninger med tallrike innskudd, avbrutte dialoger, nitide detaljsansinger og overraskende assosiasjonssprang, men det er samtidig denne skrivemåten som gjør at tenkningen i Sundes bøker oppleves så annerledes og forfriskende. Opp gjennom årene er Sunde blitt solid etablert som en av de betydeligste og mest originale stemmene i norsk samtidslitteratur.

Han er tildelt Aschehougprisen og Gyldendalprisen for sitt forfatterskap. For romanen Krigen var min families historie (2012) ble han nominert til Nordisk Råds litteraturpris. For romanen Penelope er syk (2017) fikk han P2-lytternes romanpris og Sørlandets litteraturpris. Sundes siste roman Langsom Marmor utkom i 2022 og mottok umiddelbart strålende anmeldelser.