A stalo se tak v chudinské čtvrti Edinburghu. Jako syn řidiče dodávky a uklízečky, který se tenkrát ještě jmenoval Thomas, vyrůstal ve skromných poměrech. Už jako dítě pomáhal rodině roznáškou mléka a novin. Školu ukončil předčasně ve třinácti letech. Tři roky sloužil u britského Královského námořnictva, poté lakoval rakve. Věnoval se kulturistice, v roce 1953 skončil třetí v soutěži Mr. Universe. Později se prosadil ve filmu.

S herectvím začal nejprve na divadle. Bondem byl celkem šestkrát (bez remaku z roku 1983), naposledy ve filmu Diamanty jsou věčné (1971). Ze 70. a 80. let jsou v jeho filmografii nejvýraznější snímky Vražda v Orient-expresu (1974), První velká vlaková loupež (1979), Jméno růže (1986), Highlander (1986), oscaroví Neúplatní (1987) a Indiana Jones a Poslední křížová výprava (1989). V 90. letech zaujal ve snímcích Hon na ponorku (1990), Vycházející slunce (1993) nebo Skála (1996). V roce 2003 v Praze osobně uvedl evropskou premiéru filmu Liga výjimečných, na kterém se podílel i jako spoluproducent.

Od roku 2000 se skotský patriot a fanoušek fotbalového týmu Glasgow Rangers může pyšnit šlechtickým titulem. Na slavnostní ceremoniál při převzetí ocenění z rukou královny se dostavil k ve skotském kroji a tradiční sukni.

Receptem na důstojné stáří je podle Conneryho popíjení kvalitní skotské whisky. Podle některých žen patří stále mezi nejcharizmatičtější muže světa. V roce 2008 se stal tváří módní značky Louis Vuitton.