Egy vallon eredetű, katolikus családban született, dédapja Belgiumban volt ügyvéd, katonaorvosként dolgozó nagyapja jött Magyarországra az 1770-es évek elején. Édesapja neves sebészorvos, Zemplén vármegye tisztiorvosa volt.
Gimnáziumi tanulmányai idején már beszélt németül, szlovákul és latinul is. Az 1831-es kolerajárvány idején elvesztette szüleit, és Csáky Petronella grófnő gyámsága alá került. Tanult az egri líceumban, majd Pesten. A pesti tudományegyetem jogi karán kezdte meg tanulmányait. Kitűnő nyelvtehetségének köszönhetően megtanult angolul, olaszul és franciául is. Egyetemi tanulmányait már 18 éves korára befejezte. Ezután Eperjesen a kerületi táblánál végezte jurátusi gyakorlatát.

Az apai örökség és a Csákyak jóvoltából tanulmányai befejeztével megkezdte első nagy nyugat-európai körutazását, majd dicséretes eredménnyel tette le ügyvédi vizsgáját. Ezután állami szolgálatba állt, tagja lett a Nemzeti Kaszinónak, ami fontos baráti kapcsolatokat hozott számára. Itt ismerkedett meg többek között Eötvös Józseffel is, akivel életre szóló barátságot kötöttek.
Érdeklődése az irodalom irányába fordult, valamint javasolta a magyar képzőművészet ápolására egy „Művészeti Egylet” alapítását. Ez volt első fellépése a nyilvánosság előtt, és ennek eredménye lett a Műegylet, amelynek első elnöke is lett. Az évtized végén kilépett állami hivatalából. Történeti vonatkozású cikkei, majd komoly közgazdasági tanulmányai elismerése révén 1841-ben, alig 24 évesen az MTA tagjává választották. Zólyom szabad királyi város követeként részt vett az 1843/44. évi országgyűlésen, és egy, a kereskedelmi ügyek tárgyalására kiküldött bizottság tagjává választották. A Batthyány-kormányban 1848. április 27. és szeptember 28. között Klauzál Gábor mellett a földművelés-, ipar-, és kereskedelemügyi minisztérium államtitkári tisztségét vállalta el. Centralista lévén a forradalmi események elől Bécsbe, majd Münchenbe menekült családjával, s csupán 1850 szeptemberében tértek haza. Békés megyében, elzárkózva élt, majd az 50-es évek végén bekapcsolódott a megyei közügyekbe.

1871-ben meghalt Eötvös József, akiben igen közeli barátját veszítette el. Azonnal felajánlották neki a vallás és közoktatásügyi miniszteri pozíciót, ám ezt csak 1872-ben, másodszori felkérés után fogadta el, így a Lónyay-kormány tagjaként kezdte meg működését. A művelődésügy korszerűsítésében az Eötvös által kijelölt úton haladt tovább, de gyakorlatiasabban folytatta a polgári közoktatási rendszer kiépítését.

A művészetek fejlesztésére irányuló működéséből a legjelentősebb a Zeneakadémia megalapítása, amelyet 1875. november 14-én nyitottak meg, vezetője Liszt Ferenc lett. A képzőművészetet is pártfogolta, ugyanis megalapította az első festészeti mesteriskolát, amelynek vezetője Benczúr Gyula lett.

Részlet NAPLÓJÁBÓL (1831-1835):

„Elkezdtem Shakespeare-t és Gibbont olvasni, lovagolni és vívni tanultam, s csak a vizsga előtt szenteltem kevéske időt az illető tananyagra. A politikai tudományokat, amit akkortájt az egyetemen Tipula professzor egy szörnyű kéziratból adott elő, 10 nap alatt áttanulmányoztam, persze éjjel s nappal amellett ültem, és a vizsgát nagyon jól tettem le. Mivel elhatároztam, hogy az iskola után valamiféle karriert érek el, de semmi lehetőség nem állt előttem nyitva, ami megfelelt volna az én igényeimnek, s mivel egy nyughatatlan szerelem gyötört, s gyakran szenvedtem fejfájástól, időnként valódi melankólia vett rajtam erőt. A gondolat, hogy Amerikába kivándoroljak, egész bensőmben eluralkodott. Ennek hatása alatt kirándultam Bécsbe, ami nagyon jót tett nekem. Egy új terület, a kultúráé, csak most nyílt meg előttem, s nagy élvezettel tekintettem meg a festménygyűjteményeket a Belvedere és a Liechtenstein-palotában. Pozsonyban láttam az országgyűlést: a rendezetlen, lármás rendezvény nem tett rám kedvező benyomást. (…)

Ekkor ismerkedtem meg Victor Hugo, Dumas és más modern francia író írásaival is. Sokat foglalkoztam Goethével és Heinével: ez utóbbi vitathatatlanul jótékony befolyással volt akkori érzésvilágomra. Kezdtem beteges szentimentalizmusomból kikeveredni, és amikor Eperjest elhagytam és 1836. márciusában Homonnára érkeztem, hogy a nagy utazás előtt elbúcsúzzam, s némi pénzt is szerezzek, egészen magamhoz tértem és felbátorodtam.”