Проповедник и богослов, суфийский шейх родился в селении Нифа (Найфа) в провинции Гилан (Иран), перс по происхождению (судя по прозванию отца). В возрасте 18 лет прибыл в Багдад, где посещал лекции многих ученых — курс ханбалитского права он прослушал у Абу-л-Вафа’ Ибн ‘Акила (ум. в 1119 г.) и у кади Абу-с-Са‘ида ал-Мубарака ал-Мухаррими. Последний в 1100 г. даровал ему хиркат ал-хидрийа. Хотя до этого ал-Джилани не только не имел никаких связей с суфиями, но даже отказался посещать лекции в мадраса Низамийа, поскольку там преподавал Ахмад ал-Газали (ум. в 1126 г.). Однако позже он стал посещать школу мистика Абу-л-Хайра ад-Даббаса (ум. в 1131 г.), чем вызвал недовольство его учеников. Совершив хадж, он последующие 25 лет странствовал по пустыням Южного Ирака, ведя жизнь аскета и не общаясь с суфиями. В возрасте 50 лет он объявился в Багдаде и выступил в роли проповедника. Его слава ханбалитского проповедника стремительно росла, и вскоре он стал исключительно популярен. Спустя шесть лет он возглавил школу своего учителя ал-Мухаррими, вскоре (в 1133 г.) для него и для его многочисленной семьи была построена отдельная резиденция (рибат) в комплексе с новым зданием мадраса, где он выступал как муфти — комментатор Корана, преподавал науку о хадисах и фикх и читал свои проповеди религиозно-этического содержания, тщательно избегая суфийские темы и терминологию. Эти публичные выступления собирали толпы народа и привлекали к ал-Джилани учеников со всех концов мусульманского мира. Он был ревностным ханбалитом, безоговорочно следовал сунне Мухаммада, в корне отрицал экстатическую практику мистиков, а аскетизм строго ограничивал социальными обязанностями. В одной из своих проповедей ал-Джилани изложил десять правил поведения мусульманина. Джилани был, несомненно, знаком с мистическими школами своего времени, которым он посвятил почти половину второй части труда «ал-Гунйа ли талиб тарик ал-хакк», однако сказать, взгляды какой из них он разделял, весьма сложно. Хотя традиционно считается, что ал-Джилани был основателем-эпонимом суфийского братства кадирийа, но в действительности оно было основано его потомками либо последователями лишь к середине XIII в.