Nació en un pequeño pueblo rural de Jamaica, llamado Westmoreland, de unos padres demasiado jóvenes como para hacerse cargo de él. Su madre, Alvera Coke dejó que fuese criado desde los tres años por su tía. Como aseguró refiriéndose a su infancia en una entrevista con Roger Steffens acerca de la influencia que su tía había tenido para él: "…no tuvo nada de influencia en mi. Yo tenía tres años físicamente, pero cincuenta años de mentalidad. Crecí con una mente madura, capaz de distinguir lo que es correcto y justo, no como mis padres…".
Peter Tosh, que no conoció a su padre, James McIntosh sino hasta los 10 años, se dio cuenta que aquel predicador de la iglesia local, que supuestamente era su padre, tenía numerosos hijos con otras mujeres y además se negaba a admitirle como propio. En una entrevista dijo "…mi padre, es un mal hombre, un bribón. Lo que él hace para la vida es darse la vuelta y dejar un millón de niños detrás de él. Yo tengo tantos hermanos que no me conocen… ".
En su infancia tuvo una educación cristiana, asistiendo a la iglesia local a diario. Su experiencia allí, cantando en el coro y aprendiendo a tocar el órgano fueron los primeros contactos de Peter con la música. Preguntado por si se acordaba de la primera vez que tocó la guitarra, éste respondió en una ocasión: "El lunes aquel por la mañana que cogí la guitarra, me quedé tan hipnotizado que no me di cuenta sino hasta la tarde del tiempo que había pasado, y para entonces ya había creado una melodía".
Esta infancia tan dura fue lo que a la larga desarrolló en Tosh un fuerte carácter, gran ironía y una gran autosuficiencia y espíritu luchador.
En 1956, Peter y su tía se mudaron a Denham Town, en Kingston, capital de Jamaica. Pero un año después, cuando él tenía quince años de edad, su tía murió y fue a vivir con un tío en la calle West, en Trenchtown.
