Grosics pomohl Maďarsku na mistrovství světa v roce 1954 ke stříbru, když tým s kanonýrem Ferencem Puskásem ve finále podlehl Německu 2:3. Na šampionátu ve Švýcarsku byl navíc zařazen do nejlepší jedenáctky turnaje. O dva roky dříve vybojoval s reprezentací na olympijských hrách v Helsinkách zlato.

V národním týmu odchytal Grosics 86 zápasů, což je třetí nejvyšší počet startů v historii maďarské reprezentace. Hrál i na dalších světových šampionátech v roce 1958 a 1962. V anketě o Zlatý míč pro nejlepšího fotbalistu Evropy skončil v roce 1961 desátý, Mezinárodní federace fotbalových historiků a statistiků ho v roce 1999 zařadila v přehledu nejlepších brankářů 20. století na 18. místo.