El signo de los cuatro comienza de manera bastante controvertida con Holmes participando en el entonces pasatiempo legal de las inyecciones de cocaína, para gran desaprobación de Watson. Mary Morstan, una joven soltera que desea el consejo de Holmes, pronto los visita a los dos. La señorita Morstan procede a explicar que después de que su padre desapareciera en circunstancias misteriosas hace unos diez años, comenzó a recibir una gran perla por correo en incrementos anuales. Mary continúa explicando que ha recibido una carta indicándole que vaya, con el acompañamiento de dos amigos, al Lyceum Theatre. La carta en sí insinúa que se le ha cometido alguna injusticia. Holmes y Watson acuerdan acompañar a la señorita Morstan y parece que Watson y Mary se sienten atraídos el uno por el otro.
Cuando los tres viajan al Lyceum Theatre, Holmes, Watson y Mary son llevados en un carruaje a oscuras a una casa extraña. Dentro, encuentran a un excéntrico caballero llamado Thaddeus Sholto. Sholto revela que no solo murió el padre de Mary, sino que también ella es heredera parcial de un gran tesoro escondido. Thaddeus continúa explicando que su padre siempre vivió temiendo a los hombres con piernas de madera y, en ocasiones, atacó a perfectos desconocidos que estaban tan discapacitados. En su lecho de muerte, el mayor Sholto les reveló a sus hijos la existencia del tesoro, pero justo antes de que pudiera decirles dónde estaba, el rostro de un hombre barbudo apareció en la ventana y el anciano sufrió un infarto fatal.
A la mañana siguiente, se encontró una nota pegada al cuerpo: decía “Signo de los cuatro”. Thaddeus procede a explicar que después de buscar durante años el tesoro, su hermano Bartholomew lo descubrió en un ataque oculto en la casa familiar. En su lecho de muerte, el padre de los hermanos les hizo jurar que compartirían el tesoro con Mary Morstan, quien tiene algún derecho desconocido sobre la fortuna. Thaddeus concluye suplicando a los tres que lo acompañen a la finca familiar donde se repartirán la fortuna.
Al llegar a la finca de la familia, los tres encuentran a un ama de llaves conmocionado que afirma que Bartholomew no ha salido de su habitación cerrada en todo el día. Holmes y Watson miran por el ojo de la cerradura de la habitación y encuentran un rostro sonriente y antinatural mirándolos lascivamente. Rompiendo la puerta, encuentran el cuerpo de Bartholomew, una espina envenenada alojada en su cuello. Después de investigar durante algún tiempo, Holmes concluye que dos personas, una de las cuales tenía una pierna de palo, cometieron el crimen. Según Holmes, el segundo personaje era un individuo especialmente interesante. También se hace evidente que los asesinos han robado el tesoro de Agra.
Una de las deducciones de Holmes revela que el hombre de piernas de palo pisó creosota durante su escape. Siguiendo esta pista, Holmes y Watson piden prestado un perro para seguir el rastro. Su búsqueda los lleva al borde del Támesis, donde está claro que los dos criminales alquilaron un bote. Durante los próximos días, Holmes recluta a sus «Irregulares de Baker Street», una pandilla de pilluelos de la calle, para buscar el bote en el río. Cuando estos esfuerzos fallan, Holmes, disfrazado, realiza una búsqueda y descubre que el bote … la Aurora-ha sido camuflado.
Esa noche, Holmes, Watson y varios oficiales persiguen al Aurora en una barcaza de la policía. Poco a poco alcanzan el barco, que contiene un capitán de patas de palo y un pequeño nativo pigmeo de las islas Andamán. El nativo intenta disparar a Holmes con una cerbatana y, en consecuencia, Holmes y Watson lo derriban. La Aurora encalla y el hombre de las piernas de palo queda atrapado en el barro; posteriormente, es capturado.
El hombre de piernas de madera, cuyo nombre es Jonathan Small, es llevado de regreso a Baker Street, junto con una caja de hierro, que se encontró en el bote. El Capitán Small procede a transmitir la historia del tesoro de Agra, que comenzó cuando estaba destinado como guardián de la fortaleza en la India. Small explica que se le acercaron tres guardias árabes y le ofrecieron una gran fortuna si los ayudaba a asesinar al hombre que la llevaba. Small estuvo de acuerdo. Cuando llegó el hombre, un emisario de un jeque adinerado, los tres árabes asesinaron al hombre cuando Small bloqueó su escape. Los cuatro conspiradores escondieron el tesoro, pero poco después fueron arrestados por el asesinato del emisario.
Small fue enviado a una colonia penal en las islas Andaman, donde logró hacerse amigo de un nativo, Tonga, quien se convirtió en su fiel compañero. Small sobornó a dos de los guardias de la isla, Sholto y Morstan (el padre de Mary), para que lo ayudaran a escapar a cambio de una parte de la fortuna. Los dos estuvieron de acuerdo, y Sholto se fue a traer de vuelta el tesoro. Después de un tiempo, Small se dio cuenta de que Sholto lo había traicionado y escapó de la isla con Tonga. Después de muchos años, Small había localizado a Sholto y llegó justo a tiempo para verlo morir. Después de la muerte, Small colocó la nota que se encontró en el cuerpo, como referencia a él y a sus tres compañeros árabes. Cuando regresó a la finca de Sholto, Tonga asesinó a Bartholomew y los dos robaron el tesoro.
Small concluye su narración revelando que en el curso de la persecución en el Támesis, arrojó el tesoro por la borda. Small es llevado a prisión y Watson, que ha llegado a amar a Mary Morstan, le propone matrimonio.