"Вещь есть пространство, вне коего вещи нет" (с)

[ann_vinogradova]

Камень (материю в чистом виде) строит и разрушает не время - пространство. Пространство - категория бытия. Время - категория жизни. Оно заложено внутри жизни как ее собственный фактор, ее собственное свойство. Если говорят, что время измеряется движением, и поэтому движущиеся камни, независимо от источника их движения, - тоже во власти времени, -
то это не так. Источник движения - определяет, имеем ли мы тут дело со временем, с изменением временнЫм, или только с изменением пространства.
Апдейт из комментариев: Когда в чем-то заложена возможность роста и увядания - вот это и есть время. Камень же  истачивает, например, другой камень, или ветер, или проезжающие по нему колеса, то есть всё это снаружи. Одни предметы истачивают другие предметы через соприкосновение. Даже, скажем, воздух - он тоже предметен. Внутри камня разрушение вроде бы не заложено, как и построение. Камни подвергаются разрушению не со стороны времени как такового, а со стороны предметов, сочетания, скажем, их нескольких позиций. Пять фотографий, сделанных  последовательно, могут отобразить время, но сами времени в себе не содержат. Так и тут.
А жизнь именно содержит в себе время, как, скажем, личное свойство.