← All Courses

Apex Skills by Auraya

استخراج البيانات من المواقع والإنترنت باستخدام Web ScrapingWebsite Scraping & Data Extraction from the Internet

دورة تدريبية عملية متكاملة لتعلم استخراج البيانات من المواقع والإنترنت باستخدام Python وتقنيات Web Scraping، بدءًا من تحليل بنية المواقع وHTML وDOM، وصولًا إلى استخراج البيانات من المواقع الثابتة والديناميكية، تنظيفها، تخزينها، وأتمتة عمليات جمع البيانات.A practical and comprehensive training course covering website scraping and internet data extraction using Python and modern web technologies. Participants learn how to inspect websites, extract data from static and dynamic pages, clean and validate datasets, work with APIs, store extracted information, and automate data collection workflows.

👤 المهندسة ايه رحال ⏱ 5 أيام (20 ساعة تدريبية) 📈 متقدم 🎓 57 متدربTrainees ★ 4.8/5

نظرة عامة على الكورسCourse Overview

برنامج تدريبي عملي ونظري يعرّف المتدربين بأساسيات وتقنيات Website Scraping & Data Extraction، وكيفية تحليل بنية صفحات الويب وتحديد البيانات المطلوبة واستخراجها باستخدام أدوات حديثة مثل Python وRequests وBeautifulSoup وSelenium وPandas. يتعلم المشاركون أيضًا التعامل مع APIs وJSON وXML، واستخراج البيانات من المواقع الديناميكية، وتنظيف البيانات والتحقق منها وتصديرها إلى Excel وCSV وقواعد البيانات، بالإضافة إلى أتمتة عمليات جمع البيانات وجدولتها. يتضمن البرنامج تمارين عملية يومية وخمس ورش تطبيقية ومشروعًا نهائيًا متكاملًا.

This instructor-led practical training program provides participants with the knowledge and hands-on skills required to design and develop professional web scraping and data extraction solutions. Participants learn website architecture, HTML, CSS, DOM, HTTP communication, Python Requests, BeautifulSoup, Selenium, APIs, Pandas, data cleaning, database integration, and workflow automation. The course includes daily practical exercises, five hands-on workshops, and a final enterprise-level data extraction project.

النتائجLearning Outcomes

ماذا سيستفيد الطالب؟What you will gain

✓ فهم أساسيات وتقنيات Web Scraping واستخراج البيانات من الإنترنت
✓ تحليل بنية المواقع وصفحات الويب باستخدام HTML وCSS وDOM
✓ استخدام Chrome Developer Tools لفحص عناصر صفحات الويب
✓ فهم HTTP وHTTPS وطلبات واستجابات الويب
✓ استخراج البيانات من المواقع باستخدام Python
✓ استخدام Requests وBeautifulSoup لاستخراج البيانات من المواقع الثابتة
✓ استخراج النصوص والأسعار والروابط والصور والجداول والبيانات المنظمة
✓ التعامل مع JSON وXML وRSS وواجهات APIs
✓ استخراج البيانات من المواقع الديناميكية باستخدام Selenium
✓ فهم JavaScript وAJAX وInfinite Scroll في المواقع الحديثة
✓ تنظيف وتحويل ومعالجة البيانات باستخدام Pandas
✓ اكتشاف وحذف البيانات المكررة والناقصة
✓ تصدير البيانات إلى Excel وCSV وJSON
✓ تخزين البيانات في قواعد بيانات SQL وSQLite
✓ أتمتة وجدولة عمليات جمع البيانات
✓ تصميم حلول احترافية لجمع البيانات من الإنترنت
✓ تطبيق الاعتبارات القانونية والأخلاقية في Web Scraping
✓ تنفيذ مشروع عملي متكامل لاستخراج ومعالجة البيانات

✓ Understand the fundamentals of Website Scraping and Internet Data Extraction
✓ Analyze website architecture and webpage structure
✓ Understand HTML, CSS and DOM
✓ Use Chrome Developer Tools to inspect webpages
✓ Understand HTTP and HTTPS communication
✓ Identify target data and suitable extraction methods
✓ Develop web scraping applications using Python
✓ Use Requests and BeautifulSoup for static website scraping
✓ Extract text, links, images, tables and structured information
✓ Work with JSON, XML, RSS feeds and APIs
✓ Scrape JavaScript-rendered websites using Selenium
✓ Understand AJAX, Fetch/XHR and Infinite Scroll
✓ Clean and process extracted datasets using Pandas
✓ Identify and remove duplicate and incomplete records
✓ Transform and normalize extracted data
✓ Export datasets to Excel, CSV and JSON
✓ Store extracted data in SQL and SQLite databases
✓ Automate scheduled data collection workflows
✓ Design scalable web data extraction solutions
✓ Apply legal and ethical web scraping practices
✓ Complete an end-to-end Web Data Extraction project

المتطلباتRequirements

قبل أن تبدأBefore you start

• مهارات أساسية في استخدام الكمبيوتر
• معرفة أساسية ببرامج Microsoft Office
• يفضل وجود معرفة بسيطة بلغة Python ولكنها ليست إلزامية
• المعرفة الأساسية بـ HTML وCSS تعتبر ميزة إضافية
• الاستعداد للمشاركة في التمارين البرمجية والورش العملية
• لا يشترط وجود خبرة سابقة في Web Scraping
• جهاز كمبيوتر محمول للتطبيق العملي
• تثبيت Python وVisual Studio Code
• تثبيت Google Chrome

• Basic computer literacy
• Basic familiarity with Microsoft Office applications
• Basic Python knowledge is recommended but not mandatory
• Basic understanding of HTML and CSS is advantageous
• Willingness to participate in practical programming exercises
• No previous Web Scraping experience is required
• Laptop computer for practical exercises
• Python and Visual Studio Code installed
• Google Chrome installed

محتوى الكورسCourse Syllabus

المواضيع التي يغطيها الكورسWhat the course covers

01مقدمة في Web Scraping واستخراج البيانات من الإنترنت

02استخدامات Web Scraping في الأعمال وتحليل البيانات

03Web Scraping vs Web Crawling

04Web Scraping vs APIs

05فهم بنية المواقع الإلكترونية

06أساسيات HTML

07HTML Tags وAttributes

08Classes وIDs

09فهم DOM وDOM Tree

10أساسيات CSS Selectors

11فهم HTTP وHTTPS

12HTTP Requests and Responses

13GET Requests

14HTTP Status Codes

15فهم بنية URLs وQuery Parameters

16استخدام Chrome Developer Tools

17استخدام Elements Tab لفحص HTML

18استخدام Network Tab لتحليل طلبات المواقع

19التمييز بين المواقع الثابتة والديناميكية

20فهم robots.txt

21Terms of Service والاعتبارات القانونية

22أخلاقيات جمع البيانات من الإنترنت

23تخطيط استراتيجية استخراج البيانات

24إعداد بيئة Python وVisual Studio Code

25استخدام مكتبة Requests

26إرسال HTTP Requests باستخدام Python

27تحليل HTML باستخدام BeautifulSoup

28استخدام find وfind_all

29استخدام CSS Selectors في BeautifulSoup

30استخراج النصوص والبيانات من صفحات الويب

31استخراج الروابط باستخدام href

32استخراج الصور باستخدام src

33استخراج بيانات المنتجات والأسعار

34استخراج البيانات من عدة عناصر

35استخدام Lists وDictionaries لتنظيم البيانات

36التعامل مع Pagination واستخراج عدة صفحات

37التعامل مع الأخطاء والتحقق من صحة البيانات

38مقدمة في Scrapy Framework

39التعامل مع JSON

40التعامل مع XML

41التعامل مع RSS Feeds

42استخدام APIs في جمع البيانات

43فهم المواقع المبنية باستخدام JavaScript

44مقدمة في Browser Automation

45استخدام Selenium

46استخدام Selenium WebDriver

47البحث عن العناصر باستخدام CSS Selector وXPath

48التعامل مع Buttons وForms وSearch Fields

49استخدام Explicit Waits

50التعامل مع Dynamic Content

51التعامل مع Infinite Scroll

52فهم Cookies وSessions

53مقدمة في Authentication Concepts

54التعامل مع AJAX وFetch/XHR

55مقدمة في Playwright

56مقارنة Requests وBeautifulSoup وSelenium وPlaywright

57معالجة البيانات باستخدام Pandas

58إنشاء واستخدام DataFrames

59قراءة ملفات CSV وExcel

60تنظيف البيانات المستخرجة

61معالجة Missing Values

62إزالة Duplicate Records

63تنظيف وتحويل البيانات النصية

64تحويل الأسعار إلى قيم رقمية

65Normalization وتوحيد تنسيق البيانات

66Filtering وSorting

67التحقق من جودة البيانات

68تصدير البيانات إلى CSV

69تصدير البيانات إلى Excel

70تصدير البيانات إلى JSON

71مقدمة في قواعد البيانات

72تخزين البيانات باستخدام SQLite

73مقدمة في SQL Databases

74تجهيز البيانات للتحليل وBusiness Intelligence

75أتمتة Web Scraping

76جدولة عمليات جمع البيانات

77مراقبة تغييرات المواقع

78إنشاء Automated Reporting Workflows

79مقدمة في Cloud Deployment

80Security and Compliance Considerations

81Enterprise Web Scraping Architecture

82Workshop 1: تحليل بنية الموقع وتحديد البيانات

83Workshop 2: بناء Web Scraper باستخدام Python

84Workshop 3: استخراج البيانات من موقع ديناميكي

85Workshop 4: تنظيف البيانات وتجهيزها للتحليل

86Workshop 5: مشروع Enterprise Data Extraction متكامل

87Final Project: Automated Web Data Extraction System

01Introduction to Website Scraping

02Business Applications of Web Scraping

03Web Scraping vs Web Crawling

04Web Scraping vs APIs

05Website Architecture

06HTML Fundamentals

07HTML Tags and Attributes

08Classes and IDs

09Understanding the DOM

10DOM Tree Structure

11CSS Selectors

12HTTP and HTTPS

13HTTP Requests and Responses

14GET Requests

15HTTP Status Codes

16URLs and Query Parameters

17Chrome Developer Tools

18Elements Tab

19Network Tab

20Static vs Dynamic Websites

21robots.txt

22Terms of Service

23Legal and Ethical Considerations

24Planning a Data Extraction Strategy

25Setting Up Python and Visual Studio Code

26Python Requests Library

27Sending HTTP Requests with Python

28HTML Parsing with BeautifulSoup

29Using find() and find_all()

30Using CSS Selectors with BeautifulSoup

31Extracting Text

32Extracting Hyperlinks

33Extracting Images

34Extracting Product Information

35Working with Multiple Elements

36Python Lists and Dictionaries for Scraping

37Pagination and Multi-Page Scraping

38Error Handling and Data Validation

39Introduction to Scrapy Framework

40Working with JSON

41Working with XML

42Working with RSS Feeds

43Working with APIs

44Understanding JavaScript-Rendered Websites

45Introduction to Browser Automation

46Selenium WebDriver

47Locating Web Elements

48CSS Selectors and XPath

49Clicking Buttons and Interacting with Forms

50Explicit Waits

51Dynamic Content Handling

52Infinite Scroll

53Cookies and Sessions

54Authentication Concepts

55AJAX and Fetch/XHR

56Introduction to Playwright

57Requests vs BeautifulSoup vs Selenium vs Playwright

58Introduction to Pandas

59Working with DataFrames

60Reading CSV and Excel Files

61Data Cleaning

62Handling Missing Values

63Removing Duplicate Records

64Cleaning and Transforming Text

65Cleaning Price Data

66Data Normalization

67Filtering and Sorting

68Data Validation

69Exporting Data to CSV

70Exporting Data to Excel

71Exporting Data to JSON

72Introduction to Databases

73SQLite Database Integration

74Introduction to SQL Databases

75Preparing Data for Business Intelligence

76Web Scraping Automation

77Scheduled Data Collection

78Website Change Monitoring

79Automated Reporting Workflows

80Cloud Deployment Concepts

81Security and Compliance Considerations

82Enterprise Web Scraping Architecture

83Workshop 1: Website Structure Analysis and Data Identification

84Workshop 2: Building a Professional Web Scraper

85Workshop 3: Scraping Dynamic Websites

86Workshop 4: Data Cleaning and Business Intelligence Preparation

87Workshop 5: Enterprise Data Extraction Project

88Final Project: Automated Web Data Extraction System

التسجيل والسعرRegistration & Pricing

احجز مقعدك في الكورسReserve your seat

اسأل عن السعرAsk for price