Альфред Н'Диайе родился 6 марта 1990 года в Париже. Заниматься футболом начал в 10-летнем возрасте в футбольной академии коммуны Вандёвр-ле-Нанси. Спустя 4 года был приглашён в академию клуба "Нанси", и в 2006-м году подписал с этим клубом свой первый профессиональный контракт.

Свой дебютный матч на взрослом уровне сенегальский полузащитник провёл в матче Кубка Лиги против "Ланса" (0:3). В сезоне 2008/2009 Альфред Н'Диайе начал регулярно играть, приняв участие в 24-х матчах чемпионата, а также дебютировав в Кубке УЕФА.

В 2011-м году из клуба ушёл главный тренер Пабло Корреа, и Альфред Н'Диайе также решил сменить клубную прописку, переехав в турецкий клуб "Бурсаспор", который выкупил его контракт за 2,8 млн евро. В первом же сезоне в Турции Альфред добрался до финала национального Кубка, где проиграл с командой "Фенербахче" (0:4).

В середине сезона 2012/2013 был выкуплен "Сандерлендом". Сыграл в английской Премьер-лиге 16 матчей, однако уже следующим летом был отправлен в аренду в турецкий "Эскишехирспор", а затем в испанский "Бетис". Андалузский клуб вылетел в Сегунду, но всё же решил выкупить контракт Н'Диайе за 3,5 млн евро, и он помог севильцам вернуться Ла Лигу, а затем уверенно закрепиться там, став одним из лучших игроков средней линии в чемпионате.

Игра сенегальца впечатлила "Вильярреал", который не пожалел выложить за него 8 миллионов евро, но пришедший в команду новый главный тренер не нашёл применения Альфреду в своей схеме, из-за чего он сыграл в общей сложности лишь 110 минут за полгода, и был отправлен в аренду в "Халл Сити", в котором он сыграл 15 матчей, но не смог команде сохранить прописку в Премьер-лиге. Вернувшись в "Вильярреал", ситуация для него не улучшилась, и он был отправлен снова в аренду - на этот раз в Чемпионшип в "Вулверхэмптон", за который отыграл 37 матчей за сезон, забив 3 гола.

Выступал на чемпионате Европы 2013-го года среди молодёжных команд за сборную Франции. Но на взрослом уровне принял решение выступать на сборную Сенегала. Его международный дебют случился 12 октября 2013 года в отборочном матче ЧМ-2014 со сборной Кот-д'Ивуара (1:3). Участвовал на Кубке африканских наций в 2015-м году. В 2017-м году отыграл 2 отборочных матча к чемпионату мира 2018-го года, который сенегальцы успешно преодолели, завоевав путёвку на мировое первенство в Россию. В мае 2018-го года было объявлено, что Альфред Н'Диайе поедет со своей сборной на ЧМ-2018.