改判孩子的撫養權,請問各位律師,像這種情況下我應該怎麽辦,一定要帶小孩在身邊才算盡到義務嗎？

因性格不郃，和前妻協議離婚。我淨身出戶，財産和房子全給了她，小孩由我撫養。
至今二年，前妻未付過一分錢撫養費。
因諸多原因，我在外工作，小孩沒帶在身邊。小孩一直由我父母照顧和讀書。
現今，我重組家庭。考慮到經濟和工作尚不穩定，沒把小孩接出來和我們一起生活。
但前妻打電話威脇我：如果不把小孩帶在身邊讀書，就去婦聯告我，說我沒盡到義務和責任。就到我愛人單位閙。就到法院告我，改判孩子的撫養權。
請問各位律師，像這種情況下我應該怎麽辦？一定要帶小孩在身邊才算盡到義務嗎？

建議你們協商解決，雙方都要關注小孩的健康成長。