کیا $ @! ہڈوپ ہے

ہر کوئی ہڈوپ کے بارے میں بات کر رہا ہے ، یہ نئی نئی ٹیکنالوجی جو ڈویلپرز کے مابین انتہائی قیمتی ہے اور شاید دنیا کو (پھر سے) تبدیل کر سکتی ہے۔ لیکن صرف یہ کیا ہے ، ویسے بھی؟ کیا یہ پروگرامنگ زبان ہے؟ ایک ڈیٹا بیس؟ پروسیسنگ سسٹم؟ ایک ہندوستانی چائے کا آرام دہ؟

وسیع جواب: ہڈوپ یہ سب چیزیں ہیں (سوائے چائے کے آرام دہ) ، اور بہت کچھ۔ یہ ایک سوفٹویری لائبریری ہے جو ایک اور جدید بزورڈ کے سستے ، مفید پراسیسنگ کے لئے پروگرامنگ فریم ورک مہیا کرتی ہے: بڑا ڈیٹا۔

ہڈوپ کہاں سے آیا؟

اپاچی ہڈوپ اپاچی سافٹ ویئر فاؤنڈیشن کے فاؤنڈیشن پروجیکٹ کا حصہ ہیں ، ایک غیر منافع بخش تنظیم ، جس کا مشن "عوام کی بھلائی کے لئے سافٹ ویئر فراہم کرنا ہے۔" اس طرح ، ہڈوپ لائبریری مفت اور کھلا وسیلہ سافٹ ویئر ہے جو تمام ڈویلپرز کے لئے دستیاب ہے۔

ہڈوپ کو طاقت دینے والی بنیادی ٹکنالوجی دراصل گوگل نے ایجاد کی تھی۔ ابتدائی دنوں میں ، نہایت وشال سرچ انجن کو انٹرنیٹ سے جمع ہونے والے بڑے پیمانے پر ڈیٹا کو انڈیکس کرنے کے لئے ایک راستہ درکار تھا ، اور اسے اپنے صارفین کے لئے بامقصد ، متعلقہ نتائج میں بدلنا تھا۔ مارکیٹ میں ایسی کوئی چیز دستیاب نہیں ہے جو ان کی ضروریات کو پورا کرسکے ، گوگل نے اپنا پلیٹ فارم بنایا۔

ان بدعات کو نچ نامی ایک اوپن سورس پروجیکٹ میں جاری کیا گیا ، جسے بعد میں ہیدوپ نے بطور فاؤنڈیشن استعمال کیا۔ بنیادی طور پر ، ہڈوپ بڑے اعداد و شمار پر گوگل کی طاقت کا اطلاق اس طرح کرتا ہے جو ہر سائز کی کمپنیوں کے لئے سستی ہے۔

ہڈوپ کیسے کام کرتا ہے؟

جیسا کہ پہلے ذکر ہوا ، ہڈوپ ایک چیز نہیں ہے - یہ بہت سی چیزیں ہیں۔ سافٹ ویئر لائبریری جو ہڈوپ ہے پر چار پرائمری پارٹس (ماڈیولز) ، اور متعدد ایڈ آن حل (جیسے ڈیٹا بیس اور پروگرامنگ لینگویجز) شامل ہیں جو اس کے حقیقی دنیا کے استعمال میں اضافہ کرتی ہیں۔ چار ماڈیول یہ ہیں:

• ہڈوپ کامن: یہ عام افادیت (عام لائبریری) کا مجموعہ ہے جو ہڈوپ ماڈیولز کی حمایت کرتا ہے۔
• ہڈوپ ڈسٹری بیوٹڈ فائل سسٹم (ایچ ڈی ایف ایس): ایک مضبوط تقسیم شدہ فائل سسٹم جس میں ذخیرہ شدہ ڈیٹا پر کوئی پابندی نہیں ہے (اس کا مطلب یہ ہے کہ ڈیٹا یا تو ساختی یا غیر منظم اور سکیم لیس ہوسکتا ہے ، جہاں بہت سے ڈی ایف ایس صرف اسٹرکچرڈ ڈیٹا کو اسٹور کریں گے) جو فالتو پن کے ساتھ اعلی تر ذریعے ان پٹ رسائی مہیا کرتا ہے ( ایچ ڈی ایف ایس ڈیٹا کو متعدد مشینوں پر ذخیرہ کرنے کی اجازت دیتا ہے - لہذا اگر ایک مشین ناکام ہوجاتی ہے تو ، دوسری مشینوں کے ذریعہ دستیابی برقرار رہ جاتی ہے)۔
• ہڈوپ یارن: یہ فریم ورک ملازمت کے شیڈولنگ اور کلسٹر ریسورس مینجمنٹ کے لئے ذمہ دار ہے۔ یہ یقینی بناتا ہے کہ بے کاریاں برقرار رکھنے کے ل to اعداد و شمار کو متعدد مشینوں پر کافی حد تک پھیلانا ہے۔ یارن وہ ماڈیول ہے جو ہڈوپ کو بڑے اعداد و شمار پر کارروائی کرنے کا ایک سستی اور لاگت سے موثر طریقہ بناتا ہے۔
• ہڈوپ میپریڈوش: یہ یارن پر مبنی نظام ، جو گوگل ٹکنالوجی پر بنایا گیا ہے ، بڑے اعداد و شمار کے سیٹوں (متناسب اور غیر منظم) کی متوازی پروسیسنگ کرتا ہے۔ ایم پی پی اور NoSQL ڈیٹا بیس سمیت ، آج کے بیشتر بڑے ڈیٹا پروسیسنگ فریم ورکس میں بھی نقشہ ریڈوز پایا جاسکتا ہے۔

یہ سبھی ماڈیول مل کر کام کرتے ہیں جو بڑے ڈیٹا سیٹوں کے ل distributed تقسیم شدہ پروسیسنگ تیار کرتے ہیں۔ ہڈوپ فریم ورک میں آسان پروگرامنگ ماڈل استعمال کیے گئے ہیں جو کمپیوٹر کے کلسٹرز میں نقل کیے گئے ہیں ، اس کا مطلب یہ ہے کہ یہ نظام صرف ایک ہارڈ ویئر پر انحصار کرنے کی بجائے بڑھتی ہوئی پروسیسنگ پاور کے ل single ایک سرور سے ہزاروں مشینوں تک بنا سکتا ہے۔

بڑے اعداد و شمار کے ساتھ کام کرنے کے لئے درکار پروسیسنگ پاور کی مقدار کو سنبھالنے والا ہارڈ ویئر ہلکا پھلکا ڈالنے کے لئے مہنگا پڑتا ہے۔ ہڈوپ کی یہی اصل بدعت ہے: ناکامیوں کو روکنے کے لئے درخواست کی سطح پر بلٹ ان فالتو پن کے ساتھ ، متعدد ، چھوٹی مشینیں ، جن میں سے ہر ایک کو اپنی اپنی لوکلائزیشن کمپیوٹشن اور اسٹوریج کی کثیر مقدار میں پروسیسنگ پاور کو توڑنے کی صلاحیت ہے۔

ہڈوپ کیا کرتا ہے؟

سیدھی سی بات کی گئی ، ہڈوپ بڑے اعداد و شمار کو ہر ایک کے لئے قابل رسائی اور قابل استعمال بناتا ہے۔

ہڈوپ سے پہلے ، وہ کمپنیاں جو بڑے اعداد و شمار کا استعمال کررہی تھیں وہ زیادہ تر رشتہ دار ڈیٹا بیس اور انٹرپرائز ڈیٹا گوداموں (جس میں بڑے پیمانے پر مہنگے ہارڈ ویئر استعمال کرتی ہیں) کے ساتھ کرتی ہیں۔ اگرچہ یہ ٹولز ڈھانچے والے ڈیٹا پر کارروائی کرنے کے ل great بہترین ہیں - جو وہ ڈیٹا ہے جو پہلے سے ہی انتظام کے لحاظ سے ترتیب اور ترتیب دیا گیا ہے - غیر ساختہ اعداد و شمار پر کارروائی کرنے کی گنجائش انتہائی محدود تھی ، اس لئے کہ یہ عملی طور پر عدم موجود تھا۔ قابل استعمال ہونے کے ل data ، پہلے ڈیٹا کو اسٹرکچر بنانا تھا تاکہ یہ میزوں میں صفائی کے ساتھ فٹ ہوجائے۔

ہڈوپ فریم ورک اس ضرورت کو تبدیل کرتا ہے ، اور اتنے سستے کام کرتا ہے۔ ہڈوپ کے ساتھ ، 10 سے 100 گیگا بائٹ اور اس سے اوپر کے ڈھانچے کی بڑی مقدار ، عام اور استعمال شدہ سرورز کا استعمال کرتے ہوئے ساختی اور غیر منظم دونوں طرح پر عملدرآمد کیا جاسکتا ہے۔

ہڈوپ ہر صنعت میں ہر قسم کے کاروبار کے ل potential ممکنہ بڑے ڈیٹا ایپلی کیشنز لاتا ہے۔ اوپن سورس فریم ورک مالیات کمپنیوں کو اجازت دیتا ہے کہ وہ پورٹ فولیو کی تشخیص اور رسک تجزیہ کے لئے نفیس ماڈل بنائیں ، یا آن لائن خوردہ فروش اپنے تلاش کے جوابات کو ٹھیک انداز میں بنائیں اور صارفین کو ان مصنوعات کی طرف اشارہ کریں جو وہ خریدنے کے زیادہ امکان رکھتے ہیں۔

ہڈوپ کے ساتھ ، امکانات واقعی بے حد ہیں۔