Az erdélyi országgyűlések követe, ellenzéki képviselője. Tanulmányait a kolozsvári Jogakadémián végezte, ezután hivatali pályára lépett. Apja közbenjárására 1818-ban Bécsbe került, az ott működő Erdélyi Kancellárián volt gyakornok. Itt ismerte meg feleségét, a karintiai származású nemes tanár lányát, Láng Annát. A házassága miatt apja mindentámogatását megvonva elfordult tőle. 1826-ban tért haza Erdélybe, 1831-ben tiszteletbeli kincstári titkári kinevezést kapott, 1834-től Alsófehér vármegye ellenzéki követe. Apjával való összetűzései miatt nem vitte a tanácsosi rangnál tovább. 1831-tól a Magyar Tudós Társaság levelező, majd 1855-től tiszteletbeli tagja. 1847-től a bécsi akadémiának is tagja. Húsz évig ingyen szolgált Bécsben, Kolozsváron és, Nagyszebenben. A hivatali pályát nem érezte magáénak, 1846-ban visszavonult a közéleti pályáról és történelmi kutatásait folytatta, kitartó gyűjőmunkájának eredményeként 15–17. századi szövegeket tett közzé, köztük néhány hamisítványt is. Kemény az oklevélhasználó történészek első nemzedékéhez tartozott, tudományos közleményeit az oklevelekre alapozta, s szenvedélyesen gyűjtötte az Erdély múltjára vonatkozó írásos forrásokat, ily módon rengeteg írott emléket őrzött meg a pusztulástól. A Diplomatarium Transilvanicum a legnagyobb magyarországi kéziratos diplomatikai forrásgyűjteménynek számít. Hatalmas gyűjteményét unokaöccsével, Kemény Sámuellel közösen az 1841-es országgyűlésen felajánlották a létesítendő erdélyi nemzeti múzeum számára. E gesztussal bevallottan a nagy könyvtáralapító elődök – Brukenthal Sámuel, Batthyányi Ignác és Széchenyi Ferenc – példáját követték. Végrendeletében az Erdélyi Múzeum-Egyesületre hagyta könyvtárát. Az 1859-ben megalakult Egyesület könyvtárának alapításakor több, mint 15.000 kötetet és több, mint ezer kézirat és oklevélállományának a Kemény–gyűjtemény mintegy harmadát tette ki. Az Erdélyi Múzeum-Egyesület további gyűjteményeivel együtt az 1872-ben alapított Kolozsvári Egyetem és a mellette működő könyvtár használatára bocsátotta.
