Sovětský svaz a jeho satelity včetně Československa získaly první proudové letouny díky jiné Tupolevově konstrukci typu Tu-104, který byl odvozen od bombardéru Tu-16. Zmenšením "sto čtyřky" vznikl Tupolev Tu-124, určený pro kratší tratě, od kterého už vedla přímá cesta k Tu-134. Nové letadlo se od svých předchůdců na první pohled lišilo zejména umístěním motorů, které se od trupu, což bylo řešení zděděné po bombardéru, přesunuly na pylony v zadní části trupu.
Odborná literatura uvádí, že velký vliv na zrod nového letadla měla návštěva sovětského vůdce Nikity Chruščova ve Francii na přelomu března a dubna 1960. Během ní ho hostitelé svezli i pýchou francouzského leteckého průmyslu, dopravním strojem Sud Aviation Caravelle. A generální tajemník sovětských komunistů byl ohromen tím, jak tichá byla kabina Caravelle, nejen ve srovnání s hlučným turbovrtulovým Tu-114, kterým do Francie přiletěl, ale i sovětskými Tu-104 a Tu-124.
Bylo to díky umístění dvojice motorů po stranách zádi, což byla francouzská novinka. Na úsvitu proudové éry se totiž teprve hledalo ideální umístění pohonných jednotek. Řešení s motory v kořeni křídla, jaké původně používal Tupolev a kvůli němuž se do interiéru dostávalo hodně hluku, se objevilo také u de Havillandu Comet, prvního proudového dopravního letadla vůbec. Americké stroje Boeing 707 a Douglas DC-8 zase měly motory na pylonech pod křídly.
Když se Chruščov na jaře 1960 vrátil do Moskvy, dostal Tupolev za úkol vytvořit nový letoun, který by se co do komfortu cestování přiblížil caravelle. Nový projekt, schválený v srpnu 1960, dostal původně označení Tu-124A. Od svého předchůdce převzal většinu trupu, který byl o něco prodloužen, vodorovné ocasní plochy se pak přesunuly na vrcholek té ocasní, v původním umístění by ostatně překážely motorům.
Už na jaře 1961 byly hotové první plány a na začátku roku 1962 se mohla v moskevské továrně rozběhnout výstavba prototypu, který byl hotový v květnu 1963. O dva měsíce později se pak poprvé vznesl do vzduchu, pilotovaný zkušeným testovacím letcem Aleksandrem Kalinou. Zkoušky prvního prototypu trvaly až do listopadu 1964, od září 1964 se k testování přidal i druhý vyrobený stroj, který měl o 1,5 metru delší trup a dostal i další vylepšení.
Katastrofa a zájem Československa
Zatímco první Tu-134 (nového označení se připravovaný typ dočkal během roku 1963) dokončil zkoušky a později byl dlouhá léta umístěn jako památník před vysokou technickou školou v moskevském Novogirejevu, druhý prototyp postihla v lednu 1966 katastrofa. Letoun, který byl v červnu 1965 vystaven na přehlídce v Le Bourget a poté se ukázal v Berlíně, Varšavě a Praze, se kvůli chybě posádky zřítil při vojenských zkouškách nedaleko Moskvy. Zemřelo všech osm lidí na palubě.
Neštěstí, za které mohlo hrubé porušení všech instrukcí pilotem, nepřerušilo přípravy sériové výroby, který začala v závodě z ukrajinském Charkově v roce 1966. Prvním uživatelem nového typu se stal Aeroflot, premiérový let se uskutečnil v září 1967 mezi Moskvou a letištěm v Adleru nedaleko černomořského letoviska Soči. To ale byla v prvních období výjimka, až do léta 1969 jinak létaly nové tupolevy výhradně na zahraničních linkách.
Stroje s typickou prosklenou přídí, které pro přistání na krátkých drahách používaly brzdicí padáky, koupil do konce 60. let i východoněmecký Interflug a polské aerolinky LOT. Například Československé aerolinie ale nadále zůstaly pro krátké tratě u vrtulových Iljušinů Il-14 nebo trojice starších proudových Tu-124. Do československých služeb se zařadil až vylepšený model Tu-134A s mírně větší kapacitou nebo obraceči tahu, které zkracují přistání místo padáků.
Československo mezi roky 1971 a 1978 koupilo celkem 19 kusů Tu-134A, z toho 14 provozovaly Čs. aerolinie, čtyři létaly u vládní letky, jež tehdy spadala pod federální ministerstvo vnitra, a jedno dostala armáda. Zatímco vládní letka se svých Tu-134A zbavila už v roce 1983, kdy je prodala do Bulharska, česká armáda svůj jediný kus používala až do poloviny 90. let a ČSA vyřadily poslední TU-134 na konci roku 1997. Naposledy byl nasazen na lince Praha-Bělehrad.
Od 90. let tato letadla postupně začala mizet z mezinárodních linek i u dalších provozovatelů, a to kvůli nevyhovující spotřebě i porušování nových západních hlukových předpisů. Většina z celkem 854 vyrobených letadel všech verzí nakonec dolétala v Rusku, úplně poslední let na pravidelné lince se uskutečnil v květnu 2019 na lince Irkutsk - Mirnyj. Dnes typ podle dostupných údajů provozuje ještě ruské letectvo a možná i Severní Korea.