Udby præstegård er en firlænget bindingsværkgård med stråtag. Gården er fra midten af 1600 tallet, og den er blevet restaureret mange gange. Midt på gårdspladsen står et stort ahorntræ.

I præstegårdshaven ud for Grundtvigs Mindestuer er nylig plantet et lindetræ til afløsning af Grundtvigs gamle lind, der ikke kunne mere.

Gården er omgivet af en stor parklignende meget kuperet have, der skråner ned mod en dam. Op mod kirken står en hel allé af avnbøgetræer, og på skråningen mod kirkemuren kan man om foråret opleve et fantastisk hvidt blomsterflor af Dorthealiljer.

Præstegårdshaven har betydet meget for Grundtvig. Han har i 1811 skrevet et stort digt, Udby Have, hvori han gør præstegårdshaven til ramme om en række skildringer fra sine barndomsår og ungdomsdage og til ”et billede på min færd”. Minderne fra barndomshjemmet fra haven og fra kirken med landsbyklokken blev et at de stærkeste islæt i hans digtning.