Jardin "sauvage" et légalité

Bonjour,
je vous expliquer rapidement la situation. Mon frère et moi sommes propriétaires de la maison de nos parents. Mon père est décédé et ma mère est en maison de retraite.
Comme la maison est (pour le moment) inhabitée, nous avons décidé de laisser le jardin en "jardin sauvage" pour préserver un maximum de biodiversité. Le futur propriétaire de la maison en fera ce qu'il veut (même s'il y a des chances pour que notre préférence aille à quelqu'un avec la même vision des choses).
C'est un grand jardin, dans lequel pousse, entre autre, des arbres de la forêt qui était là avant que cela ne devienne un lotissement. Donc bcp d'arbres ont plus de 50 ans.
Le problème est qu'il existe une association de quartier qui n'arrête pas de nous coller des procédures dans les pattes à cause de ce jardin sauvage.
Existe t'il un cadre légal concernant cela ? quels seraient mes droits et les leurs ?