Pályafutása során összesen öt fejedelem alatt szolgált, volt nagykövet Bécsben (ő kérte meg Brandenburgi Katalin kezét Bethlen Gábor részére), Lengyelországban és a török Portán. I. Rákóczi György idején Fehér vármegye ispánja, majd kincstartó, végül az erdélyi hadak parancsnoka, az ország generálisa lett és részt vett a fejedelem hadjárataiban.
II. Rákóczi György fejedelmi tanácsosnak tett meg, de Kemény volt a kancellária nagyhatalmú vezetője is. 1657-ben a fejedelem kudarccal végződött lengyelországi hadjárata során ő is a krími tatárok fogságába esett, ahonnan csak váltságdíj ellenében szabadult. Fogságának két bahcsiszeráji esztendeje alatt a szenvedők vigasztalására állította össze Gileád balsamuma című kötetét a zsoltárok és Jeremiás siralmai szövegéből, hozzájuk csatolva a rabok számára írt imádságát.
Ugyanitt írta meg önéletrajzát, amely nemcsak a korszak fontos történeti forrása, hanem értékes irodalmi mű is, írásával a magyar barokk irodalom egyik legfontosabb műfajának kezdeményezője lett. Később, fejedelemsége alatt is széles körű politikai levelezést folytatott, amelynek egy része nemcsak a címzetteknek, hanem a nyilvánosságnak is szólt.
Első felesége, Kállay Zsuzsanna halála után második nejével, Lónyay Annával aranyosmedgyesi birtokán telepedett le, ahonnan a császáriak és az erdélyi rendek felkérésére tért vissza, hogy felvegye a harcot a törököt kiszolgáló Barcsay Ákossal. Miután 1661. január 1-én fejedelemmé választották, elfogatta Barcsayt, akit később Kozmatelkén tisztázatlan körülmények között meggyilkoltak.
Nemzetközi támogatásra számítva, Kemény János kimondta Erdély törököktől való elszakadását, és I. Lipóttól kért segítséget, majd a török elől Magyarország területére menekült. A Montecuccoli vezetésével érkező császári hadak azonban csata nélkül visszavonultak, miután a török Apafi Mihályt nevezte ki Erdély fejedelmévé. A cserbenhagyott Kemény mégis megpróbálta a trónt visszaszerezni, de 1662. január 23-án, a nagyszöllősi csata hevében lezuhant a lováról és szörnyethalt.
