Джоэл родился 23 июня 1974 года в пригороде Блэктауна. Его мать Мэриэнн была домохозяйкой, тогда как отец, будучи адвокатом, материально обеспечивал семью. Джоэл воспитывался вместе с родным братом, Нэшем Эдгертоном, который впоследствии стал профессиональным каскадером. В 1991 году Джоэл окончил учебу в гимназии Хиллз. После этого он подал документы на поступление в драматическую школу Nepean, организованную при Университете Западного Сиднея. Во время учебы в театральной труппе Эдгертон не однократно принимал участие в различных сценических работах. Первым художественным фильмом стала режиссерская работа его брата Нэша короткометражная австралийская драма Loaded.