Fleming családja szegény volt, idős apja, Hugh Fleming farmerként kereste kenyerét, ezért a fiúnak az érettségi után öt évig tisztviselőként kellett dolgoznia egy kézbesítőirodánál, csak egy váratlan örökség révén tudott 1903-ban beiratkozni a londoni egyetem orvostudományi karára, ahol 1908-ban kiváló eredménnyel diplomázott. Fleminget a bakteriológia, a betegségek kemoterápiás kezelése érdekelte, olyan antibakteriális anyagokat keresett, amik nem károsítják az emberi szöveteket.
Az I. világháborúban a hadsereg egészségügyi alakulatainál alkalma nyílt a sebgyógyítás és az antiszeptikumok tanulmányozására. 1921-ben megfigyelte: ha orrváladékot cseppent a baktériumtenyészetbe, a telep áttetszővé válik, a mikrobák feloldódnak. A következő évre sikerült izolálnia a jelenséget kiváltó, számos testnedvben is megtalálható antibiotikus enzimet, amelyet lizozimnak nevezett el.
Legfontosabb felfedezését a véletlennek köszönhette. 1928-ban tankönyvírás közben újra elvégezte egyes kísérleteit, s feltűnt neki, hogy amikor a napokig fedetlenül heverő stafilococcus baktériumtenyészetbe egy penészgombatelep, a Penicillium notatum spórái kerültek, a foltok körül baktériummentes gyűrű alakult ki. Fleming izolálta a száraz kenyéren tenyésző penésszel közeli rokonságban álló gombát, és megállapította: az általa termelt anyag (amelyet penicillinnek nevezett el) még nyolcszázszoros hígításban is meggátolja a baktériumok növekedését.
Munkatársaival, Stuart Graddockkal és Frederick Ridleyvel megállapította, hogy a penicillin az emberi szervezetben a baktériumok egy részét elpusztítja, de a fehérvérsejtekre nincs hatással, tehát alkalmas lehet mikroorganizmusok okozta fertőzések helyi kezelésére. Tudománya azonban itt elfogyott: nem lévén kémikus, nem tudta az anyagot sem izolálni, sem azonosítani, és cikkére évekig nem figyeltek fel.
A penicillin kémiai azonosítását, tiszta formában történő előállítását az ausztrál születésű Howard Florey és a Németországból emigrált Ernst Chain végezte el a második világháború előestéjén. A három kutató együtt dolgozott tovább, felfedezéseiket nem szabadalmaztatták, az emberiségnek ajándékozták. Penicillinnel először 1942-ben mentették meg egy már haldokló beteg életét, a második világháborúban azonban csak a hadsereg tagjai kaphattak belőle. A szernek köszönhetően kevesebb végtag-amputációra került sor, sőt a nemi betegségek ellen is hatásosnak bizonyult – az azonban a városi legendák közé tartozik, hogy Churchillt penicillinnel gyógyították ki tüdőgyulladásából, a politikus szulfonamidokat kapott.
Fleminget hősként ünnepelték, 1943-ban a Royal Society tagjává választották, 1944-ben lovaggá ütötték, 1945-ben Chainnel és Floreyval megosztva orvostudományi Nobel-díjat kapott, s a londoni egyetem professzoraként vonult nyugdíjba 1948-ban. Az elismerések ellenére Alexander Fleming élete végéig szerény körülmények között élt. A St. Mary’s Kórházban kutatott, közben professzori állást szerzett Londonban.
Sir Alexander Fleming 1955. március 11-én halt meg, hamvai Nelson és Wellington sírja mellett, a londoni Szent Pál katedrálisban nyugszanak.
1999-ben 1600 közismert skót közül őt választották az évszázad emberének, illetve a Time magazin szerint Sir Alexander Fleming egyike a 20. század 100 legfontosabb emberének.
Legfrissebb hozzászólások