Thaly Kálmán 1839. január 3. született a Komárom vármegyei Csépen elszegényedett köznemesi családban, iskoláit pozsonyi evangélikus líceumban és a pápai református gimnáziumban végezte. Édesapja, Thaly Lajos, Debrecenben végzett jogász volt, aki megyei hivatalnokként igyekezett családja számára a szükséges jövedelmet biztosítani. A forradalom alatt főhadipénztárnok volt Komáromban, de hivatalát a császári kormányzat alatt is megőrizte. 1850-ben tragikus hirtelenséggel elhunyt. Édesanyja Barthaloss Katalin volt, aki az apa halála után erélyesen és nagy szorgalommal igyekezett a gyermekei számára szükséges javakat előteremteni. Thaly édesanyja révén másod-unokatestvére volt Jókai Mórnak.
Fiatal korában még úgy nézett ki, hogy Thaly nem történetíróként, hanem költőként szeretne bekerülni a magyar kultúra halhatatlanjai közé, és az 1850-es évek második felében több verse is megjelent, melyekkel Arany János, Petőfi Sándor és Tompa Mihály stílusát utánozta, azonban a Rákóczi-szabadságharc, mint téma csak 1859-től jelent meg költészetében. Általában regék és népmondák alapján írta a verseit, a filozófia és a szerelem nem játszottak szerepet a költészetében. Már fiatal korában megfigyelhető, hogy a történelmi témájú verseit igyekezett jegyzetekkel is ellátni.
A következő évben elsőéves joghallgatóként a Pesti Egyetem tanulója lesz, és bár tanárai dicsérik szorgalmát és kitartását, azonban a jogi tanulmányok helyett sokkal inkább a politikai mozgalomba vetette bele magát, több diáktüntetésen is részt vett, s hamarosan az ifjúság mozgalmának egyik vezető egyénisége lett. (Az 1859-ben Piemonttól és III. Napóleontól elszenvedett vereség hatására Ferenc József a Habsburg Birodalom modernizációja mellett döntött, ennek szellemében adta ki 1860. október 20-án az októberi diplomát, majd 1861. február 26-án a februári pátenst. Az összehívott magyar országgyűlés azonban mindkettőt elutasította.) Az ifjú Thaly érzékelte, hogy az ország bajban van, de verseiben (Forinyák Géza temetésén, Széchenyi emlékezete, A Széchenyi-hegy elnevezésekor) kifejezte a nemzet hamarosan bekövetkező felvirágzásába vetett hitét is.
Thaly azonban túlzásba vitte a politizálást, és egyik verse miatt felségsértési perbe fogták, ami miatt kénytelen volt Erdélybe menekülni. Itt a családjával jó viszonyt ápoló Vargyasi Dániel Gábor udvarhelyszéki királybíró fogadta be, és itteni vendégeskedése alatt egy régi ládát adott Thalynak, benne Bethlen Gábor és II. Rákóczi Ferenc korabeli iratokkal, levelekkel és versekkel, melyekből Thaly egy kötetet szerkesztett Történelmi kalászok 1603-1703 címmel. Thaly, mint elszegényedett nemesi családból származó értelmiségi, élénk képzelőerejének köszönhetően könnyedén azonosult az általa elképzelt kuruc világgal.
Bár néhány évig még írt verseket (pl.: A nyakas kuruc 1863-ból), figyelme fokozatosan a történetírás, azon belül a Rákóczi-szabadságharc története felé fordult. Ezt jelezték első publikációi is, pl.: a II. Rákóczi Ferenc és a többi magyar bujdosó sírjai Stambulban (1862-ben jelent meg a Pesti Naplóban), II. Rákóczi Ferenc (1863-ban jelent meg a Nemzeti Képes Újságban). Utóbbiban Rákóczit a legnagyobb magyarnak nevezte, a számot pedig a hatóságok lefoglalták. Ezután nagy feltűnést keltett Régi magyar vitézi énekek és elegyes dalok című két kötetes munkája, melyben 16-18. századi történeti énekeket közölt. Az Arany Jánoshoz köthető Koszorú című újság bírálta ezen kiadványát, részben a válogatás elvei, részben pedig a jegyzetelési hibái miatt.
1864-ben elhunyt Szalay László, a kiváló történész és jogtudós, aki hat kötetes Magyarország története című munkáját sem tudta befejezni. Thaly rögtön jelentkezett, hogy folytatni kívánja életművét, így Eötvös József meg is bízta Szalay befejezetlen munkáinak kiadásával. Ezután fogott hozzá az 1865-ben megjelent Bottyán János életrajzához, melyet a szakma erős kritikával fogadott. Gyulay Pál irodalomtörténész szerint nem ütötte meg a kor tudományos színvonalát. Elsősorban azért bírálta, mert Thaly nem választotta el egymástól a lényeges és lényegtelen dolgokat, az események súlyát nem ismerte fel, továbbá csupán a kurucok szempontjából pozitív adatokat vette figyelembe, így munkája nagyon egyoldalú és nehezen használható lett. Thaly sok évvel később az Archivum Rákóczianum IX. kötetének előszavában úgy válaszolt, hogy eredetileg évekkel később, további kutatások után szerette volna kiadni, de végül engedett a kiadó és a közönség siettetésének.
Mindezek ellenére tudományos pályája meredeken ívelt felfelé. 1860-1864 között a Pesti Napló szerkesztőségének a tagja, ahová rokona és gyámja Csajághy Sándor juttatta be. Itt az újság híreit és az újdonságok rovatot írta. 1864. január 20-án a Magyar Tudományos Akadémia levelező tagjává választotta, 1867-től a Századok szerkesztője egészen 1875-ig, illetve ezzel párhuzamosan a Magyar Történelmi Társulat titkára. Thaly azonban szorgalmával rá is szolgált ezekre a pozíciókra. Fő kutatási területe a vörösvári Erdődy-levéltár Rákóczi-anyaga volt, ahonnan (1866 és 1868 között) naplókat, országgyűlési iratokat, illetve leveleket közölt a Rákóczi tár két kötetében. Ezután hozta létre az Archivum Rákóczianum sorozatot, melyben II. Rákóczi Ferenc, Bercsényi Miklós főgenerális, valamint Bottyán János leveleit adta ki tíz kötetben, melyek a mai napig alfái és omegái a legtöbb, a korszakhoz kapcsolódó tanulmánynak. Tervezte Forgách Simon iratainak kiadását is, erre azonban nem került sor. Ezen kívül Thököly Imre naplóinak és leveleskönyveinek a kiadása is a nevéhez fűződik. Továbbá számos alkalommal közölt forrásokat magukban, vagy kisebb csoportokban a Századok, a Történelmi Tár, valamint a Hadtörténelmi közlemények különböző számaiban. Emellett számos könyvet és tanulmányt írt a témáról.
A történetírás és a kultúra nagyjaitól azonban számos kritikát kapott. Elsősorban egyoldalú látásmódját, a forráskritika hiányát, illetve gyakran a forrásmegjelölések elmaradását rótták fel legfőbb hibájaként. Pauler Gyula pedig amiatt bírálta, hogy a fejedelem íródeákjának nevezte magát. A Rákóczi-szabadságharc kutatását saját vadászterületének tekintette, és nem tűrte, hogy más kutatók idemerészkedjenek. Emiatt Nagy Ivánnal (1824-1898) alaposan össze is veszett, amikor megakadályozta őt okmánygyűjteményének, Eszterházy Antal tábori könyvének a kiadásában, amelyet végül Nagy Iván halála után maga Thaly adott ki. Ocskay Lászlóról és II. Rákóczi Ferenc ifjúságáról szóló könyvét szintén sok kritika érte.
Történetírásában mindenkor előnyt élvezett a katonai események bemutatása, ezzel azonban a felkelést a kurucok és labancok kakaskodásának ábrázolta, melyek nem illettek a szabadságharc valódi, belső és külső feszültségekkel egyaránt megterhelt, sokkal összetettebb képéhez. Az 1880-as évek derekán érdeklődése Rákócziról Bercsényi felé fordul, s három kötetet írt Bercsényi családjáról, melyben az első az ősökkel, a második és harmadik pedig Bercsényi életével foglalkozott, de csak a szabadságharc közepéig, 1706-ig jutott el. Történetírása a romantikus „emelkedés, csúcspont, hanyatlás” hármasként mutatja be a szabadságharcot és Bercsényit. Thaly azonban – ahogyan korábbi műveiben – itt sem tudott mit kezdeni a rendelkezésére álló óriási forrástömeggel. Bercsényit a felkelés valódi vezetőjének ábrázolta, akinek mindig igaza volt, és mindig tudta, mit kell tennie. Ezzel szemben Thalytól alig tudunk meg valamit Bercsényinek a szabadságharc előkészítésében játszott szerepéről, vagy orosz orientációjú diplomáciai nézeteiről. A Bercsényi Miklósról szóló részek szétfeszítették egy hagyományos családtörténet kereteit. Ugyanakkor a harmadik kötetben elemzi addigi munkája során a legrészletesebben a Rákóczi-szabadságharc eseményeit, történetének megírására azonban még ezek után sem vállalkozott.
A bírálatok és hibáik ellenére Thaly munkái az átlagemberek körében nagy népszerűségnek örvendtek. Ezt kihasználva Thaly a történetírás mellett politizált is. 1878-ban Ferencváros, majd 1881-től Debrecen első kerületét képviselte az országgyűlésben, mégpedig a Függetlenségi Párt színeiben, melynek sokáig másod majd tiszteletbeli elnöke is volt. Ilyen minőségben javasolta, hogy a millenniumi megemlékezés keretében hét helyen emlékművet emeljenek, kormánybiztosként a kivitelezésben is részt vett. A párizsi világkiállítás magyar részlegének szervezésében szerzett érdemeiért Ferenc Józseftől megkapta a Szent István Rend Lovagkeresztjét. Legnagyobb és számára alighanem legkedvesebb politikai sikere azonban az volt, amikor Ferenc József engedélyezte Rákóczi és bujdosó társai hamvainak hazahozatalát. 1906. október 29-én Rákóczi és társai földi maradványait látványos külsőségek között vonultatták végig Budapesten, majd Kassán helyezték őket végső nyughelyükre. Ekkor kerültek vissza Magyarországra Thököly Imre és Zrínyi Ilona földi maradványai is, míg előbbit Késmárkon, utóbbi koponyáját Kassán temették újra.
Míg Thaly életében több-kevesebb sikerrel hárította el a rázúduló kritikákat, addig 1909-ben bekövetkezett halála után (szeptember 27-én hunyt el régi barátja, Polyák Béla Trencsén megyei, zabláti birtokán). Pozsonyban temették el.