Сын инженера, работа которого была связана с постоянными разъездами, Лефлер провёл детство в
Париже,
Венгрии,
Швейцарии, городке
Смела под
Киевом (где в девятилетнем возрасте начал заниматься на скрипке) и в
Эльзасе, с которым так сроднился душой, что в дальнейшем неизменно называл местом своего рождения
Мюлуз (отчасти это было связано с неприязнью Лефлера к собственно Германии, поскольку его отец, писавший статьи политического содержания, был арестован, когда Лефлер был ещё юношей, и умер в тюрьме). Лефлер учился в
Берлине у
Йозефа Иоахима (скрипка),
Фридриха Киля и Вольдемара Баргиля (композиция), затем в
Париже у
Ламбера Массара (скрипка) и
Эрнеста Гиро (композиция). В
1881 г. он эмигрировал в США, в
1887 г. оформил американское гражданство.