1、主石
“石”在日本具有宗教的象征意义，日本人视“石”为神祭拜，石庭园便成为一处神圣场所。
置石的选择及配置在枯山水庭园中非常重要。岩石则采用花岗岩、片魔岩等有个性的石种，还有浅色系的沉淀性岩石，如岩石或火山岩等。
岩石的设计布局要经过反复推敲，多为单数，三五块岩石为一组，注重大小搭配，造型生动而富有整体韵律感。由于石块呈不规则状，铺设时要加强石块之间的呼应与协调。
2、卵石
直径常在50~150毫米之间，它用来表达一条弯曲的枯河道或水滨轮廓。
也可以铺砌在屋顶檐口下方的地面，既能够防止滴落的雨水溅起泥土并破坏地面，又可以成为庭园内部的一条景观带。
3、砂砾
枯山水多用一层细石覆盖面积较大的裸土，保持地面的干净和清爽，砂石也可作为景观的背景。
因为，人在地面上踩出的脚印很刺眼，所以，枯山水多选料细砂石，或粗解后的花岗岩，或直径6、7毫米的碎石，或直径约12毫米的碎石。
这类砂石会有多种颜色，从黄褐色到蓝色到近乎黑色，而造园的最佳颜色是浅灰白色或浅灰色，为主石和植物的深色调提供一种中色背景。
经过耙制，砂砾可形成各式纹路。
通常情况下，质问可喻静水，小波纹可喻轻缓溪流，纹可喻急流，“z”形折纹可喻海中撒网，同心圆纹可喻雨水溅落池中或鱼儿出水，涡旋纹可喻有限空间隐喻漩涡，叠加的半圆纹可喻浪涛或波浪击岸。