出産前は社内制作の部署でした。育休明けも同じ部署に復職できるものと思っていたのですが、総務部に異動させられてしまいました。育休復帰後も元の部署で働きたいと思っていたので、突然の部署異動に納得がいきません。人事異動を拒否して元の部署に戻ることは可能でしょうか？