داده‌ها اغلب در صفحات وب در دسترس هستند، و بازیابی آنها به تلاش و احتیاط بیشتری نیاز دارد. این دوره در مورد بسته Rcrawler است که یک خزنده وب و اسکراپر است که میتوانید در پروژه‌های R خود از آن استفاده کنید.
آنچه خواهید آموخت:
چگونه میتوانید آن را دریافت کنید. داده‌هایی که از یک وب سایت به پروژه‌های R خود نیاز دارید؟ در مورد خودکار کردن آن با استفاده از بسته Rcrawler چطور؟ در این دوره آموزشی Web Crawling and Scraping Using Rcrawler در سه مرحله بسته Rcrawler را پوشش می‌دهید. ابتدا، برخی از مفاهیم اساسی، ساختارهای یک صفحه وب، و مثال‌هایی را برای به دست آوردن تصویر بزرگ مرور خواهید کرد. در مرحله بعد، برخی از پیامدهای خزیدن و نحوه جلوگیری از خطرات را خواهید دید. در نهایت، موضوعاتی مانند نحوه دریافت داده‌های مورد نیاز از یک صفحه وب، نحوه دریافت صفحات وب مورد نیاز از یک وب سایت بزرگ و نحوه عیب یابی Rcrawler را بررسی خواهید کرد. وقتی این دوره را به پایان رساندید، مهارت‌ها و دانش Rcrawler مورد نیاز برای کمک به خودکارسازی فرآیند بازیابی داده‌ها از صفحات وب را خواهید داشت.
نمونه ویدیوی آموزشی ( زیرنویس‌ها جدا از ویدیو است و میتوانید آنرا نمایش ندهید ) :
[ENGLISH]
01 Course Overview [1min]
01-01 Course Overview [1mins]
02 Getting Started with Rcrawler [30mins]
02-01 Version Check [0mins]
02-02 Overview [1mins]
02-03 Why Crawling and Scraping? [2mins]
02-04 Why Rcrawler? [2mins]
02-05 What Is in a Web Page? [4mins]
02-06 Playing It Safely with a Local HTTP Server [4mins]
02-07 Your First Rcrawler Project [6mins]
02-08 Your Second Rcrawler Project [9mins]
02-09 Summary [2mins]
03 Crawling and Scraping Carefully [25mins]
03-01 Overview [1mins]
03-02 Does Crawling Impact the Website? [7mins]
03-03 What About robots.txt and User-agents? [5mins]
03-04 Is It OK to Crawl This Website? [4mins]
03-05 How to Crawl Gently [7mins]
03-06 Summary [1mins]
04 Advanced Crawling and Scraping with Rcrawler [46mins]
04-01 Overview [2mins]
04-02 Troubleshooting Rcrawler [7mins]
04-03 Scraping with CSS Selectors [9mins]
04-04 Scraping with XPath Selectors [8mins]
04-05 Filtering URLs [8mins]
04-06 Visualizing Network Graph [4mins]
04-07 Filtering by Search Results [6mins]
04-08 Summary [2mins]
[فارسی]
01 نمای کلی دوره [1 دقیقه]
01-01 بررسی اجمالی دوره [1 دقیقه]
02 شروع با Rcrawler [30 دقیقه]
02-01 بررسی نسخه [0 دقیقه]
02-02 نمای کلی [1 دقیقه]
02-03 چرا خزیدن و خراشیدن؟ [2 دقیقه]
02-04 چرا Rcrawler؟ [2 دقیقه]
02-05 در یک صفحه وب چیست؟ [4 دقیقه]
02-06 پخش ایمن آن با یک سرور HTTP محلی [4 دقیقه]
02-07 اولین پروژه Rcrawler شما [6 دقیقه]
02-08 دومین پروژه Rcrawler شما [9 دقیقه]
02-09 خلاصه [2 دقیقه]
03 خزیدن و خراشیدن با دقت [25 دقیقه]
03-01 نمای کلی [1 دقیقه]
03-02 آیا خزیدن روی وب سایت تأثیر می‌گذارد؟ [7 دقیقه]
03-03 درباره robots.txt و User-agents چطور؟ [5 دقیقه]
03-04 آیا خزیدن در این وب سایت اشکالی ندارد؟ [4 دقیقه]
03-05 چگونه به آرامی خزیم [7 دقیقه]
03-06 خلاصه [1 دقیقه]
04 خزیدن و خراش دادن پیشرفته با Rcrawler [46 دقیقه]
04-01 نمای کلی [2 دقیقه]
04-02 عیب یابی Rcrawler [7 دقیقه]
04-03 خراش دادن با انتخابگرهای CSS [9 دقیقه]
04-04 خراش دادن با انتخابگرهای XPath [8 دقیقه]
04-05 فیلتر کردن URLها [8 دقیقه]
04-06 تجسم نمودار شبکه [4 دقیقه]
04-07 فیلتر کردن بر اساس نتایج جستجو [6 دقیقه]
04-08 خلاصه [2 دقیقه]
دن توفان
Dan Tofan
دن توفان
دن دهه‌ها پیش برنامه نویسی را در یک کلون Spectrum آغاز کرد و حرفه برنامه نویسی حرفه‌ای خود را در سال 2003 آغاز کرد. دن با اشتیاق برای یادگیری به هلند رفت تا در دانشگاه گرونینگن تحصیل کند. در حال حاضر، دن به پایان نامه دکترای خود در مورد تصمیم گیری و کسب دانش در معماری نرم افزار، و حدود دوازده مقاله با صدها استناد افتخار می‌کند. دن سال‌ها از فناوری‌های مایکروسافت استفاده کرد، اما به تدریج به پایتون، لینوکس و AWS مهاجرت کرد تا بیشتر با دنیای محاسبات آشنا شود. در حال حاضر، دن یک برنامه نویس تمام وقت پایتون در دفتر رومانیایی یک شرکت جهانی در حوزه تحقیقاتی است.
فارسی کلاس (FarsiClass.ir) سایتی منحصر بفرد در ایران، شامل آموزش های IT تخصصی و حرفه ای سایت پلورال سایت (Pluralsight) با زیرنویس فارسی و انگلیسی.
+ ما آموزش های یکی از تخصصی ترین سایتهای سازنده آموزشهای ویدیویی در جهان، یعنی پلورال سایت (Pluralsight) را فارسی سازی کرده و در اختیار شما قرار داده‌ایم.
+ زیرنویس‌های فارسی آموزشها، با جدیدترین تکنولوژی هوش مصنوعی (Artificial Intelligence به اختصار AI)، ترجمه شده و پس از آن، طی چند مرحله بصورت هوشمند، مورد بازبینی و ویرایش قرار میگیرد.
+ تمامی آموزشهای سایت فارسی کلاس، با زیرنویس فارسی و انگلیسی و با کیفیت ویدیوئی عالی (1280x720) ارائه میگردد.
فارسی کلاس (1403-1402)