Mange fortæller om mystiske hændelser og syner af en hvid dame, der bevæger sig rundt på slottet om natten.
Ingeborg Skeel var en driftig og dygtig handelskvinde og derfor upopulær hos en stor del af lokalbefolkningen, og der er mange historier om hende: Hun skulle bl.a. have druknet arkitekten Philip Brandin i voldgraven, for at han ikke skulle bygge et slot som Voergaard igen. Efter Ingeborgs død i 1604 spøgte hun så meget på slottet, at en præst måtte mane hende til ro i en mose. Men hvert år rykker hun ifølge sagnet et hanefjed tættere på slottet, og når hun kan kigge ind ad vinduet, vil Voergaard gå til grunde.
Det er en kendsgerning, at Ingeborg donerede mange penge til fattighjem og selv stod for opførelsen af et hospital og en skole for Sæbys fattige.