Jaroslav Šedivý se narodil 12. listopadu 1929 v Praze. Vystudoval historii a slavistiku na Filozofické fakultě Univerzity Karlovy. V roce 1954 nastoupil do Slovanského ústavu Akademie věd, od roku 1957 působil v Ústavu pro mezinárodní politiku a ekonomii v Praze. Založil odborný časopis Mezinárodní vztahy a tři roky byl jeho šéfredaktorem.
Po invazi vojsk Varšavské smlouvy do Československa byl vyloučen z komunistické strany, do níž vstoupil v lednu 1948. Musel nedobrovolně odejít z Ústavu pro mezinárodní politiku a ekonomii. O jeho úmrtí informoval v neděli jeho syn Jiří Šedivý.
Kvůli svým postojům strávil šest měsíců ve vazbě a poté byl podmínečně odsouzen za podvracení republiky. Během normalizace pracoval jako dřevorubec, řidič kamionu a až do roku 1988 čistič oken. Publikoval řadu samizdatových studií. V tomto období také napsal dvě historické knihy pod jmény dvou svých přátel.
Krátce před listopadem 1989 začal pracovat v Prognostickém ústavu Akademie věd, kde se tehdy připravovala prognóza ekonomického vývoje v Československu. V prosinci téhož roku přešel na ministerstvo zahraničí jako poradce ministra Jiřího Dienstbiera.
Ve své knize Černínský palác v roce nula z roku 1997 Šedivý vzpomínal, jak Dienstbierovi po přebírání úřadu odpověděl na zásadní otázku, s čím začnou: "Chceme-li dělat zahraniční politiku nezávislého státu, musí ten stát být skutečně nezávislý, a nikoliv okupovaný. Musíme co nejdříve dostat Rusy ze země." Právě odsunu sovětských vojsk se Šedivý v prvních letech budování porevoluční československé diplomacie intenzivně věnoval.
V červnu 1990 se stal československým a později českým velvyslancem ve Francii, po pěti letech se stal velvyslancem v Belgii a Lucembursku. Současně zastupoval české zájmy v NATO. V Bruselu se věnoval jednání o vstupu ČR do Severoatlantické aliance. V letech 1997 až 1998 byl ministrem zahraničních věcí ve vládě Josefa Tošovského, v letech 1999 až 2002 byl velvyslancem ve Švýcarsku.
Šedivý byl nositelem vysokých francouzských vyznamenání - Řádu čestné legie a Národního řádu za zásluhy. Prezident Václav Klaus mu udělil medaili Za zásluhy. Řadu let předsedal Společnosti Jana Masaryka, přednášel mezinárodní politiku a diplomacii na Filozofické fakultě Univerzity Karlovy.
Byl autorem řady knih, v nichž se zabýval například zákulisím polistopadové zahraniční politiky, diplomacií, historickými událostmi či působením v roli velvyslance v Paříži. V roce 2012 vydal i rozsáhlé paměti nazvané Jaroslav Šedivý: Mé putování zmateným stoletím.
V Šedivého stopách šel i jeho syn Jiří. V letech 2006 až 2007 byl ministrem obrany ve vládě Mirka Topolánka (ODS), mezi roky 2012 až 2019 byl velvyslancem Česka při NATO. V roce 2020 se stal ředitelem Evropské obranné agentury.
