ویب کرالر کیا ہے؟ - ٹیکپوپیڈیا سے تعریف

تعریف - ویب کرالر کا کیا مطلب ہے؟

ویب کرالر ایک انٹرنیٹ بوٹ ہے جو ویب انڈیکسنگ میں مدد کرتا ہے۔ وہ ایک ویب سائٹ کے ذریعے ایک وقت میں ایک صفحے پر رینگتے ہیں جب تک کہ تمام صفحات کی فہرست نہ بن جائے۔ ویب کرالر کسی ویب سائٹ اور ان سے متعلق لنکس کے بارے میں معلومات اکٹھا کرنے میں مدد کرتے ہیں ، اور HTML کوڈ اور ہائپر لنکس کی توثیق کرنے میں بھی مدد کرتے ہیں۔

ایک ویب کرالر کو ویب مکڑی ، خودکار اشاریہ ساز یا سیدھے کرالر کے نام سے بھی جانا جاتا ہے۔

ٹیکوپیڈیا ویب کرالر کی وضاحت کرتا ہے

ویب کرالر معلومات کو جمع کرتے ہیں جیسے ویب سائٹ کا یو آر ایل ، میٹا ٹیگ کی معلومات ، ویب پیج کا مواد ، ویب پیج میں موجود لنکس اور ان لنکس سے نکلنے والی منزلیں ، ویب پیج ٹائٹل اور کوئی دوسری متعلقہ معلومات۔ وہ ان یو آر ایل پر نظر رکھتے ہیں جو پہلے سے ہی ڈاؤن لوڈ کرنے سے پہلے ہی ڈاؤن لوڈ ہوچکے ہیں تاکہ دوبارہ وہی پیج ڈاؤن لوڈ نہ کریں۔ پالیسیوں کا مجموعہ جیسے دوبارہ ملاحظہ کی پالیسی ، سلیکشن پالیسی ، ہم آہنگی کی پالیسی اور شائستگی کی پالیسی ویب کرالر کے رویے کا تعین کرتی ہے۔ ویب کرالروں کے لئے بہت سارے چیلنجز ہیں ، یعنی بڑے اور مسلسل تیار ہونے والے ورلڈ وائڈ ویب ، مواد کے انتخاب کی تجارت ، معاشرتی ذمہ داریوں اور مخالفین سے نمٹنے کے۔

ویب کرالر ویب سرچ انجنوں اور سسٹمز کے کلیدی اجزا ہوتے ہیں جو ویب صفحات پر غور کرتے ہیں۔ وہ ویب اندراجات کو انڈیکس کرنے میں مدد کرتے ہیں اور صارفین کو انڈیکس کے خلاف سوالات بھیجنے کی اجازت دیتے ہیں اور سوالات سے ملنے والے ویب صفحات بھی فراہم کرتے ہیں۔ ویب کرالروں کا ایک اور استعمال ویب آرکائو میں ہے ، جس میں ویب صفحات کے بڑے سیٹ وقتا فوقتا جمع اور آرکائو کیے جاتے ہیں۔ ویب کرالر ڈیٹا مائننگ میں بھی استعمال ہوتے ہیں ، جس میں مختلف خصوصیات جیسے اعدادوشمار کے لئے صفحات کا تجزیہ کیا جاتا ہے ، اور پھر ان پر ڈیٹا اینالیٹکس انجام دیا جاتا ہے۔