J. Žemaitis gimė 1926 metais Šakių rajone, pokariu studijavo Kauno Tarpdiecezinėje kunigų seminarijoje, 1949 metais buvo pašventintas kunigu.
Jis yra dirbęs Veiverių, Marijampolės šv. ark. Mykolo, Vilkaviškio parapijų vikaru, Simno parapijos administratoriumi, 1967 metais tapo Šakių parapijos klebonu ir Šakių dekanato dekanu, 1980 metais popiežius Jonas Paulius II jam suteikė monsinjoro titulą.
J. Žemaitis Vilkaviškio vyskupo pareigas ėjo nuo 1991-ųjų iki 2002-ųjų.
Tais metais jam suteiktas Marijampolės garbės pilietis.
„Jis buvo vyskupas, kuris nuo pat savo paskyrimo, gaivino ir kūrė Vilkaviškio dieceziją, jos organizacijas bei naujas parapijas. Aktyviai ugdė gyvąją Bažnyčią, taip pat rūpinosi eilės bažnyčių bei Vilkaviškio katedros atstatymu, naujų kunigų ruošimu, kurių būdamas Vilkaviškio vyskupu pašventino 72“, – teigiama Vilkaviškio vyskupijos kurijos pranešime.
J. Žemaitis bus laidojamas spalio 8 dieną Marijampolės šv. arkangelo Mykolo bazilikoje šventoriuje, šalia kitų ten palaidotų iškilių Marijonų vienuolijos narių.
