recent
أخبار ساخنة

تثبيت مكتبة BeautifulSoup وعملها في إستخراج البيانات في بايثون Python الدرس|27|

الصفحة الرئيسية

مكتبة BeautifulSoup في بايثون

مكتبة BeautifulSoup هي مكتبة تمكننا من عمل تحليل للبيانات parsing و البيانات المحددة يكون شكلها معقد و غير منظم مثل html.

نعمل لها information gathering ونأخذ البيانات عبر مكتبات urllib أو requests او اي مكتبة و نستخدم مكتبة مثل BeautifulSoup لعمل تنظيم للبيانات أو بمعنى اصح ندخل للرابط نأخذ البيانات او عمل parsing للبيانات المهمة التي تلزمنا بعملنا.

 

تثبيت مكتبة BeautifulSoup

نقوم بفتح التيرمنال أو موجه الأوامر و نقوم بكتابة أمر تحميلها

pip install bs4

معنى bs4 هو اختصار للكلمة BeautifulSoup و الرقم 4 هو الإصدار اي version, عند إنتهاء التثبيت سوف يكتب لنا نجاح العملية كما يلي.

Successfully built bs4, Installing collected packages: bs4, Successfully installed bs4-0.0.1

هذا يؤكد لنا نجاح عملية التثبيت بنجاح.

المكتبة كبيرة جداً إذا نريد شرحها كاملة سوف تأخذ وقت كبير جداً, لكن سنتحدث عن اهم النقاط بها فقط و كيفية استخدامها بعملية parser او استخراج للبيانات.

>>>from bs4 import BeautifulSoup
>>>import requests
>>>url = "https://www.google.com/search?q=programmer-tech"
>>>res = requests.get(url)
>>>soup = BeautifulSoup(res.content,'html.parser')
>>>soup.title
<title>programmer-tech - Google'da Ara</title>

في البداية استدعينا جزء من مكتبة bs4 وهو BeautifulSoup و بعده استدعينا مكتبة requests ثم وضعنا رابط موقعنا في متغير variable.

كما يظهر في متصفح جوجل اي قيمة الـ q ثم استخدمنا متغير آخر res و عيننا له requests و قلنا له بالذهاب للموقع المحدد في المتغير url هكذا اصبح لدينا بيانات html مخزنة في requests.

سنحتاج لإستخدام BeautifulSoup ثم وضعنا متغير soup و قيمته طلب بيانات الـ html عن طريق res.content ثم عملنا parser للداتا و بعده استعرضنا العنوان title و اعطانا إياه.

اذا كتبنا

>>> soup.title.text
"programmer-tech - Google'da Ara"

نلاحظ أنه اخرج لنا البيانات بدون تاج.


اذا نريد طباعة الداتا كاملة نكتب soup.prettify().

soup.prettify()

عند الضغط على Enter سيأخذ وقت و يطبع كامل الداتا.

للتعرف اكثر على هذه المكتبة و كيف عمل استخراج بيانات لموقع ما او اسم من الشبكة العنكبوتية سأضع لكم رابط كتاب بسيط صغير يشرحها و يشرح عملها بالتفصيل.

google-playkhamsatmostaqltradent