只有拒不退还时，才构成侵占罪。《刑法》第二百七十条规定，【侵占罪】将代为保管的他人财物非法占为己有，数额较大，拒不退还的，处二年以下有期徒刑、拘役或者罚金；数额巨大或者有其他严重情节的，处二年以上五年以下有期徒刑，并处罚金。将他人的遗忘物或者埋藏物非法占为己有，数额较大，拒不交出的，依照前款的规定处罚。遗失物拾得是指发现且实际占有该遗失物，是发现与占有两者相结合的行为。