Янкл Янкелевич родился в бессарабском местечке Ганчешты (впоследствии городок Котовск, ныне райцентр Хынчештского района Молдовы), расположенном в 30 верстах от Кишинёва на речке Когыльник. Рос в Дубоссарах, где окончил хедер и народную школу. После смерти отца в 1917 году остался единственным кормильцем в семье и вынужден был бросить школу. Учился на еврейском отделении Одесского Педагогического института, после окончания которого в 1932 году был распределён в Тирасполь, где работал учителем еврейского языка и литературы до конца жизни. Вёл передачи на местном еврейском радио.
Первый стихотворный сборник «Зафтн» (Соки) выпустил в 1931 году, за ним последовали 3 других поэтических сборника в 1934, 1937 и 1938 годах. Поэзия Янкелевича отличалась своей лиричностью и склонностью к фольклоризации. Как поэт он избегал злободневности, больше интересуясь молдавскими пейзажами, нежели окружающим его строительством передового социалистического общества. Это ему и ставилось всё больше и больше в вину на протяжении 1930-х годов, например со стороны видного критика Г. Ременика, который упрекал Янкелевича в отсутствии интереса к воспеванию социалистического строительства.
31 марта 1938 года поэт был арестован в Тирасполе и осуждён на «десять лет без права переписки», и вскоре расстрелян. Реабилитирован в 1956 году «за отсутствием состава преступления».