Последният спор около него се върти около предполагаемото му уволнение от филма "Не се притеснявай, скъпа" на Оливия Уайлд през 2020 г. заради поведението му на снимачната площадка. Твърди се, че актьорът е поставил ултиматум на Уайлд или да се отърве от него, или от колежката си Флорънс Пю, а Уайлд е избрала да запази последната. По-късно Лабьоф показа съобщения и имейли от Уайлд, в които го пита дали би обмислил да се върне във филма, за да потвърди, че не е бил уволнен, а вместо това е напуснал.