Trenchtown en ese momento era un guetto donde iban a parar los pobres y la gente de las zonas rurales que iba a Kingston con la esperanza de tener una vida mejor. Es allí y a principios de los 60 cuando Tosh conoce a Bob Marley y a Bunny Wailer por su profesor de canto, Joe Higgs, que enseñó al trío a armonizar. Joe Higgs, recordaba los primeros días de la banda: "Peter se acercó cuando estábamos viviendo en Trenchtown. Me lo presentó Bob Marley, porque querían formar un nuevo grupo. Practicaban y se convirtió en perfecto".
Comenzaron a cantar juntos en 1962, y formaron The Wailing Wailers alrededor de 1963. Peter afirmaba que al principio, él era el único que tocaba un instrumento, y que de él fue de quien Bob Marley aprendió a tocar la guitarra.
En 1963, ya con Junior Braithwaite y las voces de Beverley Kelso y Cherry Smith, grabaron su primer single, "Simmer Down", tras pasar una audición para Clement Coxsone "Dodd" en el famosoStudio One, que fue un éxito inmediato que les permitió impulsarse en la carrera musical. Al mismo tiempo, estaban siendo explotados y estafados por su productor, lo cual se repetiría en el futuro de la banda. "The Wailing Wailers" tuvieron muchos éxitos más en Jamaica antes de que Braithwaite, Kelso y Smith dejaran la banda a finales de 1965.
Desde 1964 a 1967 Tosh grabó numerosos singles en "Studio One", los cuales aparecieron editados bajo diferentes nombres como Peter Mckingtosh, Peter MacIntosh, Peter Tosh, y a menudo como Peter Touch. En aquellas primeras grabaciones aparecían como acompañantes vocales Bob Marley y Bunny Wailer, destacando versiones que posteriormente se transformarían en éxitos en Jamaica como "400 Years" y "I'm The Toughtest". Además es en estos años cuando se produce la primera encarcelación de Tosh por posesión ilegal de marihuana, ritual que había adoptado tras hacerse Rastafari; y una detención a finales de los 60 por participar en una manifestación contra la discriminación racial en Rhodesia (actual Zimbabue).
Marley pasó gran parte de 1966 en Delaware, en los E.E.U.U., con su madre. Luego regresó a Jamaica a principios de 1967 con un renovado interés en la música y una nueva espiritualidad. Peter y Bunny ya eran rastafaris cuando Marley regresó, y los tres se involucraron fuertemente en el movimiento Rastafari. Poco después, se cambió el nombre del grupo a "The Wailers". Bunny más tarde explicaría que eligieron el nombre de "The Wailers", porque "wail" significa llorar, o como él decía, "expresar los sentimientos vocalmente".
La banda llevó el ska hacia el rocksteady e incluyó en las letras mensajes sociales y políticos. The Wailers escribieron varias canciones para el cantante estadounidense Johnny Nash antes de dejar "Studio One" definitivamente en 1970 y unirse con la producción de Lee Perry para grabar algunos de los primeros éxitos del reggae como "Soul Rebel", "Duppy Conqueror" o "Small Axe". Con la incorporación del bajista Aston “Family Man” Barrett y su hermano, el baterista Carlton en ese mismo año, "The Wailers" se convirtió en la sensación musical en Jamaica. Fue entonces cuando la banda firmó un contrato de grabación con Chris Blackwell y Island Records, lanzando el álbum Catch a Fire en 1973, seguido de Burnin’, el mismo año.
"Catch A Fire", sirvió como introducción para muchas personas en la música reggae. Este álbum contiene muchos clásicos del reggae, incluyendo "400 Years" y "Stop That Train", ambas escritas e interpretadas por Peter Tosh como la voz principal. Estas canciones introdujeron a la gente el enfoque directo, franco y militante de Peter Tosh, cualidades que permanecerían con él hasta su muerte.
El segundo álbum, "Burnin'", fue una evolución del primero, que sirvió también como una plataforma de lanzamiento para el grupo y que conservaba el sentido de la banda de la conciencia sobre la injusticia social. "Get Up, Stand Up", escrita por Marley y Tosh, y cantada en el álbum por este último, es uno de los himnos por la libertad y la defensa de los derechos más conocida en todo el mundo.
En 1973, Tosh se dirigía a su casa con su novia Evonne cuando su coche fue alcanzado por otro vehículo que marchaba por el lado equivocado de la carretera. El accidente mató a Evonne y produjo una grave fractura de cráneo a Tosh. Sobrevivió, pero se hizo más difícil de tratar.
Cuando Chris Blackwell se negó a emitir su disco solista en 1974, Tosh deja el grupo (que ya empezaba a ser conocido por el nombre de Bob Marley & The Wailers), cosa que antes había hecho Bunny en plena gira, tras denunciar la poca valoración de sus cualidades como músico (lo que le impedía progresar en una banda donde Bob Marley alcanzaba cada vez más protagonismo) y el trato injusto que recibían tanto él como Bunny de parte de Blackwell, a quien Tosh a menudo se refiere en forma despectiva (por su apellido Blackwell) como "Whiteworst".
Al parecer, tras la ruptura del núcleo duro de "The Wailers", tanto Peter como Bunny recriminaron a Bob que siguiera utilizando el nombre del grupo tras su marcha. Así, una vez aseguró: "Cuando salimos de 'The Wailers', Bob Marley cogió a algunas personas y los llamó 'The Wailers'. Y eso es lo que no me gustó nada".
Preguntado en una ocasión sobre su futura carrera como solista dijo: "Bob hace su trabajo y yo tengo mi trabajo por hacer. Hicimos un compromiso como grupo para continuar el trabajo de Rastafari, lo que suceda sucederá. Bob utiliza su estilo para dar su mensaje, yo tengo que seguir mi estilo".
Tosh, como el guitarrista original de The Wailers, es considerado uno de los creadores del estilo de guitarra entrecortado del reggae.
