A Hester la llevan al cadalso, donde la avergonzarán públicamente por haber cometido adulterio. Hester se ve obligada a llevar la carta A en su vestido en todo momento. Ella ha cosido un gran escarlata A en su vestido con hilo dorado, dando a la letra un aire de elegancia. Hester lleva a Pearl, su hija, con ella. En el cadalso se le pide que revele el nombre del padre de Pearl, pero ella se niega. Entre la multitud, Hester reconoce a su marido de Amsterdam, Roger Chillingworth.
Chillingworth visita a Hester después de que regresa a la prisión. Él le dice que descubrirá quién era el hombre y leerá la verdad en el corazón del hombre. Chillingworth luego la obliga a prometer que nunca revelará su verdadera identidad como su marido cornudo.
Hester se muda a una cabaña que bordea el bosque. Ella y Pearl viven allí en relativa soledad. Hester gana su dinero haciendo bordados para dignatarios locales, pero a menudo pasa su tiempo ayudando a los pobres y enfermos. Pearl crece y se vuelve salvaje, incluso negándose a obedecer a su madre.
Roger Chillingworth se gana la reputación de buen médico. Usa su reputación para ser transferido a la misma casa que Arthur Dimmesdale, un ministro enfermo. Chillingworth finalmente descubre que Dimmesdale es el verdadero padre de Pearl, momento en el que pasa cada momento tratando de atormentar al ministro. Una noche, Dimmesdale está tan abrumado por la vergüenza de ocultar su secreto que camina hacia el cadalso donde Hester fue humillada públicamente. Se para en el cadalso y se imagina a todo el pueblo mirándolo con una carta estampada en su pecho. Mientras están allí, Hester y Pearl llegan. Les pide que se pongan de pie con él, lo cual hacen. Pearl luego le pide que se quede con ella al día siguiente al mediodía.
Cuando un meteoro ilumina a las tres personas paradas en el andamio, ven a Roger Chillingworth mirándolos. Dimmesdale le dice a Hester que está aterrorizado por Chillingworth, quien se ofrece a llevar a Dimmesdale a casa. Hester se da cuenta de que Chillingworth está matando lentamente a Dimmesdale y que tiene que ayudar a Dimmesdale.
Unas semanas más tarde, Hester ve a Chillingworth recogiendo hierbas en el bosque. Ella le dice que va a revelar el hecho de que él es su esposo a Dimmesdale. Él le dice que la Providencia ahora está a cargo de sus destinos y que ella puede hacer lo que crea conveniente. Hester lleva a Pearl al bosque, donde esperan a que llegue Dimmesdale. Se sorprende al verlos, pero le confiesa a Hester que está desesperado por encontrar un amigo que conozca su secreto. Ella lo consuela y le cuenta la verdadera identidad de Chillingworth. Está furioso, pero finalmente acepta que deberían huir juntos. Regresa a la ciudad con más energía de la que jamás había mostrado.
Hester encuentra un barco que los llevará a los tres, y resulta que el barco debe zarpar el día después de que Dimmesdale dé su sermón electoral. Pero el día del sermón, Chillingworth convence al capitán del barco de que también lo lleve a bordo. Hester no sabe cómo salir de este dilema.
Dimmesdale da su Sermón de Elección, y recibe los más altos elogios de cualquier predicación que haya realizado. Luego, inesperadamente, camina hacia el cadalso y se para sobre él, a la vista de las masas reunidas. Dimmesdale llama a Hester y Pearl para que se acerquen a él. Chillingworth intenta detenerlo, pero Dimmesdale se ríe y le dice que no puede ganar.
Hester y Pearl se unen a Dimmesdale en el andamio. Dimmesdale luego le dice a la gente que él también es un pecador como Hester, y que debería haber asumido el lugar que le corresponde a su lado siete años antes. Luego se rasga la camisa para revelar una letra escarlata en su carne. Dimmesdale cae de rodillas y muere en el cadalso.
Hester y Pearl abandonan la ciudad por un tiempo y, varios años después, Hester regresa. Nadie vuelve a tener noticias de Pearl, pero se supone que se ha casado y ha tenido hijos en Europa. Hester nunca se quita la letra escarlata y, cuando fallece, la entierran en el sitio de la Capilla del Rey.