سیستم هوشمند استخراج آگهی از دیوار

معرفی پروژه

این پروژه یک وب‌اپلیکیشن تخصصی برای استخراج و پردازش آگهی‌های دیوار است که با هدف ساده‌سازی فرآیند جمع‌آوری و مدیریت داده‌های آگهی‌ها طراحی و توسعه داده شد.

سیستم از دو روش اصلی برای استخراج اطلاعات پشتیبانی می‌کند و به کاربر اجازه می‌دهد فرآیند استخراج را متناسب با نیاز خود تنظیم کند.

روش‌های استخراج

استخراج بر اساس لینک

کاربر می‌تواند لینک یک صفحه جستجو یا دسته‌بندی در دیوار را وارد کرده و فرآیند استخراج آگهی‌ها را آغاز کند.

استخراج بر اساس فیلتر

در روش دوم، کاربر می‌تواند معیارهای موردنظر خود را مشخص کند؛ برای مثال:

• محدوده قیمت
• محله
• وجود تصویر
• زمان انتشار
• سایر فیلترهای موردنیاز

سیستم بر اساس این تنظیمات، آگهی‌های مرتبط را استخراج می‌کند.

تنظیمات استخراج

پیش از شروع عملیات، کاربر می‌تواند پارامترهای استخراج را مشخص کند، از جمله:

• تعداد دور یا عمق استخراج
• حداکثر تعداد آگهی
• فیلترهای موردنظر
• نوع خروجی

این قابلیت امکان کنترل بهتر حجم داده‌های پردازش‌شده را فراهم می‌کند.

پیش‌نمایش و خروجی داده

پس از پایان فرآیند، اطلاعات استخراج‌شده در قالب پیش‌نمایش داخل وب‌اپلیکیشن نمایش داده می‌شوند.

کاربر می‌تواند داده‌های جمع‌آوری‌شده را در قالب‌های زیر دریافت کند:

• JSON
• Excel

این قابلیت استفاده از داده‌ها در نرم‌افزارها و فرآیندهای دیگر را ساده‌تر می‌کند.

رابط کاربری

رابط کاربری پروژه با الهام از فضای بصری دیوار و با تمرکز بر تجربه کاربری طراحی شده است.

ویژگی‌های رابط کاربری شامل:

• طراحی Dark Theme
• رابط راست‌چین و مناسب زبان فارسی
• نمایش وضعیت اجرای عملیات
• لودینگ هوشمند
• نمایش زمان تخمینی اجرای فرآیند
• پیش‌نمایش داده‌های استخراج‌شده

پردازش و مدیریت داده‌ها

سیستم علاوه بر استخراج اطلاعات، داده‌های دریافت‌شده را پردازش و پاک‌سازی می‌کند.

برخی از این فرآیندها شامل:

• حذف آگهی‌های تکراری
• حذف داده‌های نامعتبر
• ساختاردهی اطلاعات
• مدیریت نتایج استخراج

مشخصات پروژه

• نقش: طراح و توسعه‌دهنده کامل سیستم
• نوع سرویس: اسکریپت‌نویسی، اتوماسیون و تست‌نویسی
• مدت انجام: ۷ روز
• محدوده قیمت پروژه: ۴,۰۰۰,۰۰۰ تا ۸,۰۰۰,۰۰۰ تومان

ویژگی‌های فنی

سیستم برای مدیریت فرآیندهای استخراج وب طراحی شده و از تکنیک‌هایی مانند:

• مدیریت درخواست‌ها و تأخیرهای کنترل‌شده
• پردازش صفحات داینامیک
• پشتیبانی از محتوای Lazy Load
• پردازش چندمرحله‌ای داده‌ها
• شناسایی و حذف داده‌های تکراری

استفاده می‌کند.

> نکته: استخراج اطلاعات از وب‌سایت‌های شخص ثالث باید مطابق قوانین، شرایط استفاده و محدودیت‌های فنی همان سرویس انجام شود.

فناوری‌های استفاده‌شده

• Python
• Web Scraping
• HTML5
• CSS3
• JavaScript
• Data Processing
• JSON
• Excel Export

نتیجه پروژه

نتیجه این پروژه، یک وب‌اپلیکیشن انعطاف‌پذیر برای جمع‌آوری، پردازش، مشاهده و خروجی‌گیری از داده‌های آگهی‌ها است که امکان کنترل فرآیند استخراج و استفاده از داده‌های نهایی در قالب‌های مختلف را برای کاربر فراهم می‌کند.