Welch začal pracovat v GE v roce 1960 jako chemický inženýr v divizi plastů. V roce 1972 se stal viceprezidentem a v dubnu 1981, ve věku 45 let, byl jmenován generálním ředitelem. Tržní hodnota General Electric pod jeho vedením vzrostla z 12 miliard USD na 410 miliard USD (9,4 bilionu Kč) a GE se stala jednou z nejhodnotnějších firem světa, za společností Microsoft.
Za dobu, kdy Welch řídil GE, firma koupila a prodala řadu aktivit, průmyslový gigant se pak rozrostl i do oblasti finančních služeb a poradenství. Zredukoval rozsáhlý byrokratický aparát a dal manažerům volnou ruku v tom, aby provedli změny, které považují za prospěšné pro ziskové hospodaření podniku.
Fortune Welcha v roce 1999 jmenoval manažerem století. Welch ale získal i přezdívku neutronový Jack, a to podle neutronové bomby, která má zabíjet lidi, ale neničit majetek. Welch si tuto přezdívku vysloužil proto, že zrušil desítky tisíc pracovních míst. Za prvních pět let pod jeho vedením počet zaměstnanců ve firmě klesl ze 411 000 na 299 000.
Welch odešel do důchodu v roce 2001, krátce před teroristickými útoky v New Yorku. Pro jeho nástupce tak nastalo těžké období propadu akciových trhů a recese. Akcie GE oslabily a firma byla nucena přistoupit k masivnímu prodeji majetku. Po 110 letech pak byla také vyřazena z prestižního Dow Jonesova indexu. Nyní se tržní kapitalizace firmy pohybuje kolem 95 miliard USD.
Po odchodu z GE se Welch stal firemním konzultantem, často se vyjadřoval na veřejnosti a v televizi, psal sloupky a knihy a založil manažerský institut. Byl zarytým republikánem.
Welch byl třikrát ženatý, současnou manželku Suzy Welauferovou si vzal v roce 2004. S první manželkou Carolyn, se kterou se rozvedl v roce 1987, měl čtyři děti.
