Алькей Маргулан родился 11 мая 1904г. в волости Акпети (Баянаульский район, Павлодарская область) в семье Хакана и Нурсилы. Отец его Хакан прямой потомок легендарного батыра Олжабая. Родители Алькея увлекались казахскими сказаниями и легендами, пели народные песни, поэтому Алькей уже в 5 лет наизусть знал поэмы «Кобыланды», Алпамыс», «Кероглы», «Козы Корпеш – Баян сулу». Начальное образование Алькей получил в сельской школе. С 1915г. Алькей проучился три года в русской школе, а в 15 летнем возрасте поехал поступать в Екатеринбургскую гимназию, но из-за гражданской войны так и не смог продолжить обучение. В 1919г. Алькей поступил на учительские курсы в Павлодаре, которые окончил через год и вернулся в родной аул и устроился преподавателем в Далбинскую школу. В 1921г. Алькей поступил в Техникум в г.Семей. в этот период он активно сотрудничал с газетами «Қазақ тілі» и «Таң», где познакомился с Мухтаром Ауезовым. Эта дружба длилась долгие годы. Позже они вместе поедут на родину Абая, для сбора информации о поэте. В эти годы и установилась крепкая дружба между Алькеем и Магжаном Жумабаевым. По совету Ауезова в 1925г. Алькей поехал в Санкт-Петербург и поступил в Восточный институт, на факультет литературы. Параллельно с этим он был слушателем в Ленинградском университете и Института истории искусств. В течении 6 лет, которые он провел там, он собирал бесценные материалы о жизни и истории казахов, которые хранились в архивах. К тому же, дружба с Александром Затаевичем, способствовала тому, что Алькей записал ряд казахских песен. В период с 1926-1927 гг Алькей принял участие в алтайской и казахской экспедициях, которые были организованы особым комитетом по исследованию автономных республик. На основе материалов экспедиции Алькей Маргулан написал свой первый научный труд о племенах найман и адай. В 1929г. Алькей Маргулан окончил Восточный институт и на отлично защитил свою дипломную работу, посвященную творчеству Абая. В 1930г.Алькей устроился научным сотрудником в только что созданный комитет нового алфавита при Комиссариате Народного просвещения Казахской ССР. В 1934г. по ложному навету был арестован, но чудом спасся от расстрела и вернулся домой. В 1936 – 1938гг работал научным сотрудником Института истории материальной культуры АН СССР, а с 1939г. старшим научным сотрудником, а после стал заведующим сектора археологии в Институте истории, археологии и этнографии при Академии наук Казахской ССР. Он продолжал свои исследования по этнографии, начатые еще во время учебы в Ленинграде. А.Маргулан провел ряд археологических раскопок на берегу рек Сырдарья, Шу, Талас и на месте древних городищ Отырар, Сауран, Сыганак. На основе собранных артефактов, он написал монографию «История архитектуры городов Древнего Казахстана» и защитил кандидатскую диссертацию на тему «Историческое и социальное значение ханских приказов». С 1946 по 1974 гг. Маргулан был организатором и руководителем Центрально-Казахстанской археологической экспедиции, которая и открыла крупнейший очаг цивилизации эпохи поздней бронзы — Бегазы-Дандыбаевскую культуру.
В 1946 году защитил докторскую диссертацию на тему «Эпические сказания казахского народа» и стал член-корреспондентом АН КазССР, с 1958 года — академиком, с 1960 года - профессором.
В 1979 году вышла монография А. Маргулана «Бегазы -Дандыбаевская культура Центрального Казахстана» - основательный и фундаментальный труд по древней истории Казахстана. Результаты археологических исследований автора в Сары-Арке были обобщены в фундаментальных монографиях «Древняя культура Центрального Казахстана», «История Казахской ССР» в 5 томах.
Будучи разносторонним учёным он также написал монографии «Шокан жене Манас» (о Чокане Валиханове и киргизском эпосе «Манас»), «Ежелгі жыр аңыздар» и «Казахское прикладное искусство» в трех томах.
14 января 1985г. Алькей Маргулана не стало.