Zmaj se rodio u Novom Sadu, u uglednoj građanskoj porodici. Osnovnu školu je pohađao u Novom Sadu, a gimnaziju je pohađao u Novom Sadu, Halašu i Požunu. Posle završene gimnazije upisao je studije prava u Pešti, Pragu i Beču. Za njegovo književno i političko obrazovanje od posebnog značaja je boravak u Beču, gdje je upoznao Branka Radičevića, koji mu je bio najveći pjesnički uzor. Takođe, u Beču se upoznao i sa Svetozarom Miletićem i Đurom Jakšićem.
Posle završenih studija prava, Zmaj se 1860. vratio u Novi Sad i kao jedan od najbližih Miletićevih saradnika postao je službenik u novosadskom magistratu. Tu se upoznao sa svojom budućom ženom Ružom Ličanin. Ova ljubav i srećan porodičan život nadahnuće Zmaja da napiše ciklus (zbirku) pjesama “Đulići” (od turske riječi Gül, što znači ruža).
Ipak, služba u magistratu mu nije odgovarala, pa je napustio posao i posvetio se književnom radu. Tada je pokrenuo književni časopis “Javor” i satirični list “Komarac”. Godine 1838. preselio se u Peštu, gdje je radio u Matici srpskoj i kao nadzornik Tekelijanuma. Godine 1864. pokrenuo je satirični list “Zmaj” (riječ je o igri riječima, pošto je: 3. maj je po julijanskom kalendaru bio dan održavanja Majske skupštine 1848), čiji će naziv postati sastavni dio njegovog imena.
Godine 1870. Zmaj je završio studije medicine, pa se vratio u Novi Sad, gde je započeo svoju ljekarsku praksu. Ovdje ga je ubrzo zadesila porodična tragedija: usled bolesti su mu preminula djeca, a potom i žena. Iz ove porodične tragedije proizišao je niz elegičnih pjesama objavljenih pod zajedničkim nazivom “Đulići uveoci”.
Pored “Đulića” i “Đulića uveoka”, Zmaj je napisao veliki broj šaljivih i dječjih pjesama, koje su objavljene u različitim časopisima, a kasnije objavljene izdanjima njegovih sabranih djela – “Pevanija” i “Druga pevanija”. Posljednje Zmajeve štampane zbirke su “Snohvatice” i “Devesilje”. Što se tiče proze, u njoj se okušao napisavši pjesničku legendu “Vidosava Branković” i šaljivi pozorišni komad “Šaran”.
Uz to, bavio se i prevođenjem djela Aleksandra Petefija, Getea, Hajnea, Ljermontova, Tenisona.
Zmaj je uređivao još dva satirična lista – “Žiću” i “Starmali”, a od 1880.godine do smrti dječji list “Neven”.
Preminuo je 1904. godine u Sremskoj Kamenici.