Đòi lại đất cho mượn mà chưa hết thời hạn cho mượn?

Kính gửi Luật sư Nguyễn Đức Long!

Hiện nay tôi có một băn khoăn mong muốn được Ông giúp đỡ như sau:

Năm 2010 tôi có mua một mảnh đất, dự kiến đến khi nào có đủ điều kiện thì xây nhà riêng (hiện nay tôi đang ở chung cùng bố mẹ). Thủ tục chuyển quyền sử dụng đất đã được bên mua và bên bán thực hiện theo quy định của pháp luật, hiện nay Giấy chứng nhận quyền sử dụng mảnh đất đó mang tên tôi. Tại thời điểm tôi mua mảnh đất đó thì gia đình bên bán họ có đề nghị tôi cho họ mượn để sử dụng đến ngày 31/12/2013. Xét thấy mình chưa có đủ điều kiện để làm nhà nên tôi đã đồng ý cho họ mượn và hai bên đã thỏa thuận làm giấy cho mượn đất đến ngày 31/12/2013 và chỉ có hai bên ký với nhau. Đến nay tôi có kế hoạch làm nhà vào tháng 2/2013, tôi đã thông báo với gia đình mượn đất của tôi để họ thu xếp nhưng họ có thái độ không nhất trí vì chưa hết thời hạn cho mượn theo giấy cho mượn. Vậy tôi muốn hỏi tôi có thể tiến hành làm nhà trên mảnh đất của mình theo dự định khi chưa hết thời hạn cho mượn hay không? Việc bên mược đất của tôi họ không đồng ý là có cơ sở pháp lý không? Kính mong được sự tư vấn của Luật sư.   

Xin chân thành cảm ơn Ông!