我是搞建筑工程的，在工地负责监督质量，与甲方、监理方、设计方沟通等工作。去年工程开工后，到目前为止也没发工资，去年多次向工程负责人借钱，并且说明是用于家庭生活，还贷款等开支。前前后后借了有24万元，现在工程进入收尾阶段，资金出现问题。现在工程负责人要求我退还我之前借的钱，并且说我如果不还，就告我挪用公款，请问我这种行为是构成了挪用公款罪嘛？