كشط البيانات

ما هو تجريف البيانات؟

في عالم علوم الكمبيوتر ، يعتبر استخراج البيانات ، المعروف غالبًا باسم تجريف الويب (عبر الإنترنت) ، هو ملف طريقة لاستخراج البيانات من مواقع الويب لحفظها في قواعد البيانات المحلية أو في تطبيقات أخرى تستخدم برامج الكمبيوتر.

التطبيق النموذجي لتجريف البيانات هو جمع المحتوى أو التسعير أو معلومات الاتصال من مصادر الإنترنت.

مكونان رئيسيان يشكلان تجريف البيانات – الزاحف والكاشطة.

زاحف الويب ، الذي يُعرف غالبًا باسم “العنكبوت” ، هو آلية ذكاء اصطناعي (AI) يستخدم الارتباطات التشعبية ومحركات البحث لمسح البيانات والبحث عنها على الإنترنت ، مثلما يفعل الإنسان في أوقات فراغه. عندما يتم العثور على البيانات ذات الصلة ، يتم إرسالها إلى مكشطة الويب.

مكشطة الويب هي أداة متخصصة يستخرج البيانات من صفحة ويب على الإنترنت. تُستخدم إشارات البيانات الموجودة في مكشطة الويب لتحديد البيانات التي ترغب في استخراجها من ملف HTML – بشكل عام ، يتم استخدام XPath أو محددات CSS أو regex أو مجموعة من هذه البروتوكولات في هذه العملية.

يعد تجميع البيانات أسلوبًا مفيدًا للبقاء في الطليعة في عالم الأعمال. ضع في اعتبارك شركة تنفق الأموال على تسويق المنتجات لزيادة المبيعات ، ولكنها لا تدرك أن منافسيها يتقدمون عليهم بخطوات كثيرة. استخدام تقنيات أتمتة الأعمال ومكشطة الويب. يمكن مكشطة الويب تحديد الأسعار الجديدة للمنافس بسرعة بمجرد ظهوره على الإنترنت ، مما يتيح لهم الاستجابة بسرعة والحفاظ على هيمنتهم على السوق.

على الرغم من إمكانية إجراء عمليات التجريف عبر الإنترنت يدويًا ، طرق آلية عادةً ما تكون مفضلة لإلغاء بيانات الويب لأنها أقل تكلفة وتعمل بشكل أسرع.

من ناحية أخرى ، لا يعد تجريف الويب عملية سهلة دائمًا. نظرًا لأن مواقع الويب تأتي في مجموعة متنوعة من الأشكال والأحجام ، فمن الضروري التحقق مما إذا كانت وظائف وإمكانيات كاشطات الويب تتوافق مع متطلبات المواقع.

تجريف الويب هو تستخدم في الغالب في التجارة الإلكترونية والمبيعات لتتبع الأسعار وتوليد العملاء المحتملين. ومع ذلك ، بدأ العديد من المستثمرين في استخدام هذه التكنولوجيا في المعاملات المالية عبر الإنترنت هذه الأيام. يقوم بأتمتة استخراج البيانات من مجموعة متنوعة من المصادر ويحفظ المعلومات بطريقة منظمة للمراجعة المنهجية.

في حين أن تقنيات استخراج البيانات لها استخدامات قانونية مشروعة ، إلا أنه يمكن استخدامها أيضًا جمع وإعادة تفسير البيانات لأغراض غير قانونية ، بما في ذلك تحديد مستخدمي خدمة الويب المجهولين الزائف أو المواد ذات العلامات التجارية المسروقة. مرسلي البريد العشوائي والمحتالين كثيرا ما تستخدم تقنيات كشط البيانات لجمع عناوين البريد الإلكتروني لإرسال رسائل البريد الإلكتروني العشوائية. يتم استخدامه أيضًا للدخول إلى مواقع الويب أو الشبكات الداخلية للشركات والحصول على معلومات لإجراء جرائم إضافية ، مثل الابتزاز أو الاحتيال.