IronWebScraper v2026.2.1 – Powerful Web Scraping for .NET

IronWebScraper یک کتابخانه C# برای ساخت Web Scraper و Web Crawler در پروژه‌های .NET است. با کمک آن، برنامه ابتدا صفحات مورد نظر را درخواست می‌کند، سپس محتوای آن‌ها را با CSS Selector، XPath یا JavaScript بررسی می‌کند و داده‌های مورد نیاز را بیرون می‌کشد. هر زمان هم لازم باشد، به صورت خودکار سراغ لینک‌ها و صفحات بعدی می‌رود تا فرایند Crawling ادامه پیدا کند. تمام این منطق مستقیما در کد برنامه پیاده سازی می‌شود.

این کتابخانه برای پردازش تعداد زیاد صفحات طراحی شده است و Crawling را به صورت Multithreaded انجام می‌دهد؛ یعنی صدها درخواست را می‌تواند به طور همزمان مدیریت کند. تنظیم Proxy، User Agent، Cookie، Login و IP هم در همین فرایند انجام می‌شود و ابزارهای لازم برای کنترل سرعت درخواست‌ها و رعایت فایل robots.txt نیز وجود دارند. اگر اجرای برنامه به دلیل Exception، Crash یا حتی قطع برق متوقف شود، عملیات از همان نقطه قبلی ادامه پیدا می‌کند و نیازی به شروع دوباره نخواهد بود.

داده‌های استخراج شده را می‌توان به صورت JSON، نمونه‌های C# Class یا فایل‌های دانلود شده ذخیره کرد. IronWebScraper با پروژه‌های C#، F# و VB.NET سازگار است و روی Windows، Linux، macOS، Docker، Azure و AWS اجرا می‌شود. نصب آن هم ساده است و از طریق NuGet یا اضافه کردن DLL به پروژه انجام می‌شود.

ویژگی ها:

• استخراج اطلاعات با CSS Selector و XPath
• پردازش صفحات مبتنی بر JavaScript
• Crawling چندرشته ای با درخواست‌های همزمان
• مدیریت Proxy، User Agent، Cookie، Login و IP
• کنترل سرعت درخواست‌ها و رعایت robots.txt
• ادامه خودکار عملیات پس از Exception، Crash یا قطع برق
• ذخیره خروجی به صورت JSON یا C# Class
• نصب از طریق NuGet یا DLL

مناسب برای:

این کتابخانه بیشتر در پروژه‌هایی استفاده می‌شود که جمع آوری اطلاعات از وب سایت‌ها به صورت خودکار انجام می‌شود؛ مانند ابزارهای استخراج داده، سیستم‌های ایندکس محتوا، نرم افزارهای انتقال اطلاعات یا سرویس‌هایی که گزارش‌های خود را از صفحات وب تهیه می‌کنند.