Жан-Пьер Марьелль родился в Париже, в семье отца-промышленника и матери-портнихи. Его первый актерский опыт состоялся во время учебы в средней школе. Там он со своими товарищами играл в пьесах Антона Павловича Чехова. Изначально Жан-Пьер хотел изучать литературу, но один из его учителей настоял на том, чтобы он стал актером и поступил в Conservatoire national supérieur d'art dramatique. В Национальной консерватории он познакомился с Жаном-Полем Бельмондо и Жаном Рошфором. После нескольких спектаклей в «Комеди Франсез» Жан-Пьер переходит в La compagnie Grenier-Hussenot.
Марьелль начал играть в маленьких ролях в кино начиная с 1957 года. Не очень довольный своим кинематографическим опытом, он возвращается к театральным подмосткам и кабаре. В 1960-е годы получает всё больше главных ролей. На широкие экраны выходят «Peau de banane», «Week-end à Zuydcoote». В 1970-х годах он сыграл в большом количестве комедий.
Жан-Пьер Марьелль с октября 2003 года женат на французской актрисе Агат Натансон, у него есть сын от предыдущего брака.
