Nekoč strateško pomembna stavba rodbine polzelskih vitezov Helensteinov se prek svojih lastnikov omenja že leta 1149. V 13. stoletju je za pol tisočletja prešla v roke Malteškega viteškega reda, ki je s svojim poslanstvom bistveno vplival na življenje ljudi v kraju. Takrat se je gradu prijelo ime Komenda, ki pomeni upravno enoto redovne posesti.
Poleg polzelske sta bili na slovenskih tleh še dve malteški komendi (v Melju pri Mariboru ter v Komendi pri Kamniku). Med vsemi tremi je bila polzelska najmočnejša in je preostali dve sredi 16. stoletja gmotno podpirala.
Romanski stolp se je v srednjeveški grajski kompleks predvidoma razvil v 14. stoletju. V 16. stoletju, ko je bila Komenda na višku svoje moči, je bil grad obdan z obzidjem, znotraj katerega so bili trije nadstropni trakti z notranjim dvoriščem, več stolpičev, kapelica svetega Ulriha ter gospodarski objekt.