El padre de Malcolm, Earl Little, ministro bautista de profesión, también fue organizador de la militante Asociación Universal para el Mejoramiento de los Negros, un grupo nacionalista negro dirigido por el jamaicano Marcus Garvey. Malcolm lo recuerda como un hombre seguro de sí mismo dispuesto a enfrentarse a los hombres blancos. Fue este aspecto de su personalidad lo que resultó en su muerte. Sus actividades de organización en Omaha, Nebraska, causaron problemas con el Ku Klux Klan. Su casa en Lansing, Michigan, fue incendiada por un grupo racista blanco, los Legionarios Negros; es probable que este grupo lo haya asesinado.
El reverendo Little estaba muy orgulloso de su negrura y orgulloso de su herencia africana. Sin embargo, incluso él parece haber sido víctima de un «lavado de cerebro» blanco; es decir, prefería a su hijo de piel más clara, Malcolm, a todo lo demás.
Como padre y esposo, fue un hombre duro. Él y su esposa a menudo se peleaban violentamente y él a menudo azotaba a los niños. Sin embargo, su fuerte autoridad mantuvo unida a la familia y, después de su muerte, se disolvió rápidamente.
