Джо Пеши родился 9 февраля 1943 года в Ньюарке, штат Нью-Джерси, в семье парикмахера Мэри и водителя Анджело, которые оба были выходцами из Италии. В 5-летнем возрасте впервые сыграл в театре.Первую значимую роль сыграл в 1976 году в низкобюджетном криминальном фильме «Коллекционер смертей», где также играл Фрэнк Винсент, в будущем неоднократно сотрудничавший с Пеши. Работа в «Коллекционере смертей» была замечена Мартином Скорсезе, который пригласил Джо на одну из главных ролей в своём новом фильме. После роли брата боксёра Джоуи Ламотты в фильме Мартина Скорсезе «Бешеный бык» (1980) Пеши получил премию BAFTA в категории «Лучший новичок». За эту роль актёр также был номинирован на премию «Оскар». В 1990 году Пеши прославился на весь мир, сыграв гангстера Томми Девито в фильме Мартина Скорсезе «Славные парни». За роль Девито актёр получил первый «Оскар».Впоследствии Пеши появлялся в таких известных фильмах, как «Один дома», «Один дома 2: Потерявшийся в Нью-Йорке», «Джон Ф. Кеннеди. Выстрелы в Далласе», «Смертельное оружие 2», «Смертельное оружие 3», «Смертельное оружие 4», «Мой кузен Винни», «Бронксская повесть» и «Казино».В 1999 году 56-летний Пеши объявил о завершении актёрской карьеры с тем, чтобы уделять больше времени музыке. После этого Пеши лишь трижды появлялся на экране: в 2006 году он исполнил камео в фильме своего друга Роберта Де Ниро «Ложное искушение», в 2010 году Пеши снялся в фильме «Ранчо любви», а в 2017 году стало известно, что Пеши вновь сыграет в фильме Скорсезе «Ирландец». При этом сообщалось, что Джо много раз отказывался от роли в «Ирландце», ссылаясь на то, что не хочет играть в очередном фильме про гангстеров. В итоге Мартину Скорсезе и Роберту Де Ниро всё же удалось уговорить своего друга появиться на экране в роли мафиози Рассела Буфалино.