Olszewski se jako chlapec zúčastnil varšavského povstání proti nacistickým okupantům. Vystudoval právo a působil jako novinář, než mu režim zakázal psát.

V 60. letech minulého století hájil v politických procesech opoziční aktivisty, například Adama Michnika, Jacka Kuroně či Karola Modzelewského. V roce 1975 se podepsal pod protest proti změnám v polské ústavě, zakotvujícím nenarušitelné přátelství a spojenectví komunistického Polska se Sovětským svazem. Hájil dělníky protestující proti poměrům.

Sepsal také populární příručku pro opozičníky, jak si počínat vůči komunistické tajné policii.

Po vzniku nezávislých odborů Solidarita v roce 1980 byl poradcem jejich vedení, představitele Solidarity, včetně Lecha Walesy, obhajoval po vyhlášení výjimečného stavu. Býval také poradcem katolických biskupů a patřil k žalobcům v procesu s důstojníky tajné policie, kteří zavraždili kněze Jerzyho Popieluszka, a podílel se na objasnění vražd dalších duchovních.

Odmítl se přímo zúčastnit kulatého stolu, u kterého se komunistická vláda dohadovala s opozicí na změnách v zemi a dělbě moci, poskytoval však opozici právní rady. Odmítl také kandidovat v částečně svobodných volbách v červnu 1989, ani nepřijal nabídku na vstup do první nekomunistické vlády ve východním bloku. V roce 1990 podporoval Lecha Walesu v prezidentských volbách.

Vyvrcholením Olszewského politické dráhy se stala funkce premiéra. Vládu vedl po šest měsíců, od prosince 1991 do června 1992, kdy kabinet padl v důsledku rozhodnutí tehdejšího ministra vnitra Antoniho Macierewicze zveřejnit jména 64 politiků nalézajících se v archivech jako tajní spolupracovníci komunistických tajných služeb. Po letech lustrační soud očistil z podezření řadu politiků z Macierewiczova seznamu.

Olszewski byl v pozdějších letech ještě dvakrát zvolen poslancem. Býval také poradcem prezidenta Lecha Kaczyńského, který zahynul při letecké katastrofě u Smolenska v dubnu 2010.