در حال حاضر وب،یکی از مهمترین پایگاههای اطلاعاتی است که تعداد صفحات موجود در آن از مرز 4 میلیارد هم گذشته است.

استخراج داده مفید و مناسب از وب، برای کاربران یک چالش واقعی است، بنابراین نیاز به تکنیک ها و روشهایی برای دستیابی کارا به داده مورد نیاز می باشد.

کاربران معمولا از موتورهاي جستجو که مهمترين و رايج ترين ابزار براي يافتن اطلاعات در وب مي باشند، استفاده ميکنند.

موتورهاي جستجو داراي دو مشکل اصلي هستند:

1. حجم اطلاعاتی که موتورهای جستجو به کاربر تحویل میدهند، بسیار بیشتر از آن است که قابل پردازش توسط کاربر باشد.

2. براساس مطابقت دقیق با کلید واژه ساخته شده اند.

1. پيدا کردن منبع: اين مرحله شامل بازيابي اسناد وب مورد نظر مي باشد.

2. انتخاب اطلاعات و پيش پردازش: در اين مرحله به صورت خودکار اطلاعات خاصي از اسناد بازيابي شده، انتخاب و پيش پردازش مي شوند.

3. تعميم: در اين مرحله به صورت خودکار الگوهاي عام در يک يا چندين سايت وب کشف مي شود.

4. تحليل: در اين مرحله الگوهاي به دست آمده در مرحله قبل اعتبار سنجي  و تفسير مي شوند.