معرفی و دانلود کتاب وب کاوی با Scrapy, Selenium, BeautifulSoup

معرفی کتاب وب کاوی با Scrapy, Selenium, BeautifulSoup

جمع‌آوری و طبقه‌بندی داده‌های وب، امروزه چالش‌های جدیدی را برای توسعه‌دهندگان وب و مخاطبان عادی ایجاد کرده است. کتاب وب کاوی با Scrapy, Selenium, BeautifulSoup نوشته‌ی نیما شفیعی رضوانی‌نژاد و افشین اسمعیل‌زاد آهندانی تلاشی است برای کاویدن وب با روش‌هایی نو که کمتر در میان کاربران حرفه‌ای شناخته‌ شده است.

درباره‌ی کتاب وب کاوی با Scrapy, Selenium, BeautifulSoup

گستره‌ی اطلاعاتی که هرروزه در فضای وب وارد می‌شود فراتر از آن است که انسان بتواند به‌راحتی آن را جمع‌آوری، تقسیم یا طبقه‌بندی کند. ابزارهای حوزه‌ی برنامه‌نویسی در زبان‌های مختلف مانند پایتون، جاوااسکریپت، سی شارپ و PHP خلق می‌شوند که به این حجم مهارناشدنی اطلاعات سامان ببخشند. به‌طور کلی وب‌کاوی (Web Scraping) به فرآیندی گفته می‌شود که طی آن، داده‌های مختلف برای اهداف گوناگون استخراج می‌شود. از جمله اهداف وب‌کاوی بازاریابی و پژوهش‌های مربوط به تحلیل بازار است. صاحبان کسب‌وکار برای بررسی عملکرد خود و مقایسه‌ی آن با رقبا و پایش قیمت در سرتاسر وب از این روش بهره می‌گیرند. عنکبوت‌های داده‌کاو همچنین به کمک رسانه‌ها می‌آیند تا رصد اخبار در خبرگزاری‌های مختلف را برای آن‌ها تسهیل کنند.

در زبان‌های برنامه‌نویسی مختلف، ابزارهای مختلف برای نیل به این هدف طراحی شده است. برای تحلیل صفحات وب مبتنی‌بر HTML، بهترین راه استفاده از کتابخانه‌ی BeautifulSoup است. این کتابخانه پیمایش منابع اینترنتی برپایه‌ی HTML را ممکن می‌کند. در صفحات وبی که در جاوااسکریپت و یا بر مبنای معماری AJAX نوشته شده‌اند، جمع‌آوری و تحلیل داده با Selenium انجام می‌شود. این ابزار رابطه‌ی کاربری انسانی و وب را بازسازی می‌کند. در محیط پایتون، Scrapy ابزارهایی قدرتمند برای استخراج اطلاعات، ذخیره‌سازی آن‌ها و مدیریتشان ارائه می‌کند. این فریم‌ورک معمولا برای سایت‌های پیچیده با داده‌هایی گسترده استفاده می‌شود. برنامه‌نویسان معمولاً بسته به نوع داده، محیط سایت و کاربری آن، ابزار مواجهه با آن را انتخاب می‌کنند.

نکته‌ی مهم درباره‌ی کتاب وب‌کاوی با کتاب وب کاوی با Scrapy, Selenium, BeautifulSoup این است که این کتاب، کتاب یک بار خواندن نیست. سعی کنید پیش از خواندن این کتاب حداقل‌های این حوزه را فرابگیرید و به یک اسکرپر مبتدی بدل شوید، سپس می‌توانید هریک از فصل‌های کتاب را به‌تنهایی مطالعه کنید و بعد از کسب مهارت در آن به سراغ مبحث بعدی بروید. به بیانی دیگر، این کتاب نیاز به فعالیت‌های جنبی شما به‌عنوان علم‌آموز دارد تا بتواند در کسب جایگاه شغلی بهتر موثر باشد. همچنین برای به‌روز نگه داشتن دانش خود در این حوزه نیاز به منابع مکمل برای دستیابی به مثال‌های جدیدتر دارید.

این کتاب در هفت فصل تحت حمایت انتشارات موسسه فرهنگی هنری دیباگران تهران به چاپ رسیده است.

کتاب وب کاوی با Scrapy, Selenium, BeautifulSoup برای چه کسانی مناسب است؟

طبیعتاً این کتاب برای آنانی است که پیش‌تر مختصر آشنایی‌ای با دنیای داده، برنامه‌نویسی و مقتضیات آن داشته باشند. خواندن کتاب وب کاوی با Scrapy, Selenium, BeautifulSoup برای توسعه‌ی مهارت‌های وب‌کاوی، به تمامی متخصصان این حوزه‌ها توصیه می‌شود.

در بخشی از کتاب وب کاوی با Scrapy, Selenium, BeautifulSoup می‌خوانیم

در راستای توسعه‌ی برنامه‌های مدرن و با کیفیت بالا، در صورت امکان، حتی قبل از نوشتن یک خط کد، به مجموعه‌ داده‌هایی واقعی و بزرگ نیاز داریم. توسعه‌ی نرم‌افزار مدرن غالباً به معنای پردازش مقادیر زیادی از داده‌هایی نه‌چندان کامل به‌صورت بلادرنگ و سپس استخراج دانش و بینش عملی است. هنگامی‌که نرم‌افزار را توسعه می‌دهیم و آن را بر روی مجموعه داده‌های بزرگ اعمال می‌کنیم، تشخیص خطاها و اشتباه‌های کوچک دشوار می‌شود. این خطاها حتی ممکن است ما را به سمت تصمیمات اشتباه و پرهزینه سوق دهند. به‌عنوان مثال، در یک مطالعه‌ی جمعیت‌شناختی تنها به دلیل وجود یک اشکال (که در صورت طولانی بودن نام ایالت‌ها، داده‌هایی مرتبط با آنها را بدون هیچ هشداری حذف می‌کند) به‌سادگی ممکن است کل ایالت‌ها نادیده گرفته شوند. با استخراج دقیق داده‌ها و برخورداری از مجموعه داده‌هایی دنیای واقعی، دارای کیفیت عملیاتی و بزرگ در حین توسعه، یا حتی قبل از آن، در طول کاوش طراحی، به‌راحتی می‌توان اشکالات موجود را کشف و برطرف کرد و متعاقباً تصمیمات مهندسی آگاهانه‌تری اتخاذ کرد.

فهرست مطالب کتاب

فصل اول: معرفی اسکرپی
فصل دوم: آشنایی با HTML و XPATH
فصل سوم: کراولینگ پایه
فصل چهارم: دستورالعمل‌های عنکبوت سریع
فصل پنجم: SELENIUM
فصل ششم: BEAUTIFULSOUP
فصل هفتم: پیاده‌سازی WEB SCRAPING