その土地が農地かどうかの判断については、現況主義が取られています。登記簿（登記事項証明書）上で田や畑だったとしても、現況が山林や原野、又は宅地だったりした場合は、それは農地ではありません。その場合は、地目（土地の種類）を現況に合わせた地目にする必要があります。
１つ目の方法は、非農地証明という手続きを農業委員会に行うことによって、農業委員会に当該地を農地以外の地目であると証明していただき、証明書を取得してそれを持って地目変更登記を行うという手順で行います。
２つ目の方法は、いきなり地目変更登記を行い、法務局から地目が変更されたことが農業委員会へ連絡されるので、その連絡を受けて農業委員会が当該地を調査して非農地と判定するという手順です。この場合は、地目変更登記をする前に農業委員会事務局に一報を入れておいてください。
ただし、当該地が農振農用地区域内（いわゆる青地）だった場合は、単純に非農地証明だけで地目を変えることができません。どうしても農振除外の手続きを取る必要があるため、農振除外⇒農地転用の一般的な手順を踏む必要があります。
基本的には、許可（市街化区域は届出）を取らなければ農地を転用することはできません。取らずに農地転用した場合罰則や原状復帰などの措置を取らなければならないのが基本です（ただし、市街化区域の届出では許可よりも厳密な取り扱いがされていない可能性あり）。しかし、相当程度の年月にわたって以前から宅地の状態になっていたり、意図しないで山林や原野になってしまった場合には地目変更が可能だと思われます。それぞれの状況によって対応は違ってくると思いますので、農業委員会事務局に相談するか、当事務所のような専門家に相談してみてください。