Papa je izjavio kako je "došlo vrijeme da se prozori Crkve otvore za svjež zrak". Kako su pripreme dugo trajale, Drugi vatikanski koncil naposljetku je otvoren u listopadu 1962. godine u bazilici svetoga Petra u Rimu. Mnogobrojne svjetske televizijske i radiopostaje posvetile su mu najveću pozornost. Na Koncilu je sudjelovalo oko 2.540 biskupa s pravom glasa. Poziv na sudjelovanje prihvatili su pravoslavni i protestantski vjerski predstavnici, te više od 30 pripadnika drugih kršćanskih zajednica.

Već na prvom zasjedanju Ivan XXIII. istaknuo je da cilj Koncila nije ponavljanje dogmi već "aggiornamento", to jest »posadašnjenje«, kako bi Crkva opstala "pred licem vremena". Za početak dogovoreno je da se misa služi na narodnim jezicima, a ne više na latinskom.

Tijekom novih priprema papa Ivan XXIII. je umro, no njegov je nasljednik Pavao VI. odmah je nastavio započetim putem. Na trećem zasjedanju, potkraj 1964. donesene su upute za život i službu svećenika, o obnovi redova, te o kršćanskom odgoju. Na posljednjoj javnoj sjednici papa Pavao VI. svečano je objavio ukidanje međusobnog izopćenja Zapadne i Istočne crkve iz vremena raskola 1054. godine.

Uz mnoge važne enciklike posebno se ističu dogmatske konstitucije "Dei Verbum" i "Lumen Gentium" kojima su ponovno definirani temelji Katoličke Crkve i vjere. Drugi vatikanski koncil zauzeo se za dijalog, te za suradnju Crkve i svijeta u zajedničkom nastojanju oko ljudskog dobra.

Koncil je imao utjecaja i na vjerske prilike u Hrvatskoj u kojoj je narod još više prigrlio katoličku vjeru. Godine 1963. počeo je izlaziti i "Glas Koncila" s geslom "Novo lice Crkve", i to zaslugom kardinala Franje Šepera.