Строители умело использовали особенности гранита, материала твердого, малоподатливого, непригодного для мелких деталей, тяготеющего к широким плоскостям и резко подчеркнутым граням и в обработанном виде наделенного холодноватой репрезентативностью. К тому же эскориальский гранит отличается прекрасным светло-серым, стальным оттенком. Сейчас тон сооружения кажется слегка желтоватым, но сквозь «загар» веков проступает этот серебристый цвет камня. Внутренний Каменный костяк здания, подобно складкам, швам и сгибам человеческой одежды, сохраняет первозданную чистоту тона.
Ранее уже упоминалось, что Эскориал кажется не сумрачным, а светлым, и в подобном впечатлении главную роль играет цвет его гранита, в котором есть что-то бесстрастное и беспощадное.
Все сооружение сложено из некрупных прямоугольных гранитных блоков, которые тесались в местных каменоломнях; способы их обтесывания и прилаживания друг к другу изобрел Хуан де Эррера. Удивительно ровная и гладкая кладка вызывает восхищение. Хосе Сигуэнса писал, что Эскориал словно сложен из одного камня. Но впечатление монолитности лишено стихийной природной силы, видно, как оно возникло в результате долгой и кропотливой работы, искусного и тяжкого труда воздвижения камня за камнем, блока за блоком. То, что Эскориал именно построен из тесаного гранита особенно заметно по контрасту с причудливыми нагромождениями голых и таких же светло-серых, но не тронутых человеком диких скал Сьерры.