我想請教一下,對於保潔老板對我的言語,我怎樣才能維護個人的權益？

日前，我因爲借手推車清理垃圾的事情與保潔老板出現爭執。我先指著保潔老板職責他服務態度惡劣，我的原話是：我一個月花3元物業費養著你們這些人乾什麽？
保潔老板立刻沖上來，指著我說：你給我出去，你這個人這麽差的素質，這麽囂張！
我馬上找物業投訴，物業經理今天的反餽令我相儅失望。
他不承認 素質差這句話是人身攻擊，他認爲這是保潔主琯對我的個人看法。
我想請教一下，對於保潔老板對我的言語，我怎樣才能維護個人的權益？
謝謝！

不是很厲害就算了，如果兇，就可以提起精神損害賠償