Silencio cuenta la historia de Sebastion Rodrigues, un joven sacerdote jesuita en Portugal. En 1637, partió hacia Japón junto a dos sacerdotes compañeros. Planean ir a Japón tanto para hacer obra misional como para descubrir la verdad sobre su maestro, Christovao Ferreira, un misionero y teólogo muy respetado en Japón que recientemente ha sido avergonzado por su apostasía. En Japón, los cristianos viven bajo una fuerte persecución y a menudo son torturados hasta la apostasía.
En Macao, Rodrigues y su compañero Garrpe conocen a Kichijiro, un japonés que conoce a cristianos que practican su fe en secreto. Es furtivo y alcohólico, pero la mejor opción de guía que tienen Garrpe y Rodrigues. Llegan a Japón en un pequeño pueblo llamado Tomogi, cerca de Nagasaki. Aquí Rodrigues y Garrpe administran su fe desde una choza secreta en lo alto de una colina. Las cosas van bastante bien, si hace frío y hambre, durante un tiempo. Pero pronto la fe de Rodrigues se pone a prueba: dos cristianos del pueblo, cuando se les pide apostatar, se niegan. Luego se dejan en el océano en estacas para que mueran de agotamiento. Rodrigues comienza a cuestionarse por qué Dios guarda silencio ante este horrible sufrimiento de sus seguidores.
Garrpe y Rodrigues se separan. Mientras Rodrigues camina por pueblos montañosos, se encuentra con Kichijiro, quien escapó de la muerte junto con los dos cristianos japoneses al apostatar. Pide perdón por su debilidad, que Rodrigues concede a regañadientes. Poco después, traiciona a Rodrigues entregándolo a los oficiales cazadores de cristianos. Rodrigues está encarcelado junto con varios cristianos japoneses. Se encuentra con un intérprete que lo insta a apostatar, pero Rodrigues se niega. Rodrigues es trasladado a otra prisión.
Allí conoce a Inoue, el magistrado local, muy temido por sus espantosos métodos de tortura. Inoue parece ser un anciano amable que intenta convencer a Rodrigues de que apostatara porque el cristianismo de Japón nunca puede echar raíces sólidas; Afirma que la tierra es fundamentalmente inhóspita para la religión. Aún así, Rodrigues no apostatará. Cuando uno de los cristianos es asesinado por no apostatar, Rodrigues vuelve a preguntarse por qué Dios no ha dado un paso al frente.
Los cristianos que quedan en el pueblo son llevados al mar y ahogados por no apostatar. Garrpe, que ha reaparecido, intenta salvarlos pero se ahoga. En su cabeza, Rodrigues contempla decirle a Garrpe que apostatara para salvarlos, pero no se atreve a decirlo. Una vez más está horrorizado por el silencio de Dios ante esta masacre. Rodrigues cae en una profunda depresión y finalmente es llevado a conocer a Ferreira. Ferreira ha apostatado y de hecho está escribiendo un libro refutando el cristianismo. Él también le dice a Rodrigues que apostata.
En última instancia, Rodrigues sí apostata. Lo llevan a una prisión húmeda y por la noche escucha los gemidos de los cristianos en «el pozo», un método de tortura brutal. Ferreira lo visita y le dice que él mismo pasó tres días en el pozo y apostató porque Dios no hizo nada para ayudar a las otras víctimas. A la mañana siguiente, después de que Cristo habla con Rodrigues y le dice que lo pisotee, Rodrigues apostata con éxito.
Después, está confinado a cierta casa por un tiempo hasta que Inoue descubre qué hacer con él. En última instancia, lo envían a Edo para asumir el nombre, la propiedad y la esposa de un hombre muerto. Allí vive el resto de sus días, muriendo a la edad de 64 años. Los dos últimos capítulos del libro están escritos desde la perspectiva de un joven empleado holandés en Nagasaki y un diario de un miembro de la casa de Rodrigues cuando sea mayor.