Đòi lại nhà cho ở nhờ

Tôi có mãnh đất được anh chị họ ủy quyền cho canh tác sử dụng từ năm 1976 và tôi đã cất nhà trên đất.
Đến năm 1983 hai v/c anh chị lập giấy ủy quyền cho v/c tôi bằng giấy tay.
Năm 1988 nhà cũ xuống cấp nên tôi làm Đơn xin sửa lại nhà cũ và cất thêm 2 căn nữa thay cho những chái cũ và UBND xã đã đóng dấu chấp thuận.
Năm 1989 gia đình ông X khó khăn về nhà ở nên đến xin ở nhờ trong một căn thuộc số nhà của tôi. Sau vài năm thấy gia đình ông có điều kiện kinh tế nhưng lại không tìm chỗ ở khác nên v/c tôi có yêu cầu ông trả lại nhà nhưng ông cứ khất lần.
Tôi có làm đơn gửi lên xã để yêu cầu ông trả lại nhà nhưng ông đã lén lút móc nối với xã nên xã vẫn làm ngơ.
Tôi gửi đơn lên Huyện thì Huyện yêu cầu về xã giải quyết trước.

Ba căn nhà tôi xin sửa năm 1988 thì tôi ở 1 căn nay đã có sổ hồng, 1 căn tôi đã bán giấy tay cho người khác, còn 1 căn tôi cho ông X ở nhờ vẫn chưa lấy lại được.
Vì điều kiện kinh tế nên tôi chưa thể Hợp thức hóa được lô đất.

Tôi có các giấy tờ sau:
Hộ khẩu thường trú tại chỗ từ năm 1977.
Giấy tờ mua đất của v/c anh chị tôi.
Giấy ủy quyền của v/c anh chị cho v/c tôi (Bản chính giấy tay)
Đơn xin sửa nhà được UBND xác nhận (Bản chính)
Tờ đăng ký nhà đất năm 1999.

Ông X có các giấy tờ:
Hộ khẩu thường trú từ năm 1994
Tờ đăng ký nhà đất năm 1999.
Bản vẽ nhà và đất ông chiếm thêm.
Giấy tờ đóng thuế căn nhà đang ở nhờ.

Vậy xin hỏi luật sư:
- Tôi có thể đòi lại nhà đã cho ông X ở nhờ không?
- Có phải ông X có thời gian ở lâu trong căn nhà đó hơn tôi nên ông X sẽ lợi thế hơn?