اپاچی چھتے اور سور کا ایک مختصر تعارف

اپاچی ہائیو ایک ایسا فریم ورک ہے جو ہڈوپ میں اعداد و شمار پر ایڈہاک سوالات کرنے کے لئے ہڈوپ کے اوپر بیٹھا ہے۔ Hive HiveQL کی حمایت کرتا ہے ، جو SQL کی طرح ہے ، لیکن SQL کی مکمل تعمیرات کی حمایت نہیں کرتا ہے۔

Hive نے جاوا میپریڈوسی پروگرام میں HiveQL سوال کو کور کیا اور اس کے بعد اسے ہڈوپ کلسٹر کے پاس بھیج دیا۔ یہی نتیجہ ہائیو کیو ایل اور جاوا میپریڈوسیس کا استعمال کرتے ہوئے حاصل کیا جاسکتا ہے ، لیکن جاوا میپریڈوسی کو استعمال کرنے کے لئے ہیوی کیو ایل کے مقابلے میں بہت سے کوڈ لکھنے / ڈیبگ کرنے کی ضرورت ہوگی۔ تو ، HiveQL ڈیولپر کی پیداوری میں اضافہ کرتا ہے۔

خلاصہ کرنے کے لئے ، Hive ، HiveQL زبان کے ذریعہ ، جاوا میپریڈوس پروگرامنگ کے دوران اعلی سطحی خلاصہ فراہم کرتا ہے۔ کسی بھی اعلی سطحی تجرید کی طرح ، جاوا میپریڈوسیس کے مقابلے میں ہائیو کیو ایل کا استعمال کرتے ہوئے تھوڑی بہت کارکردگی ہوتی ہے ، لیکن عام طور پر استعمال ہونے والے منظرناموں کے لئے ہائیو برادری اس خلا کو کم کرنے کے لئے کام کر رہی ہے۔

اسی لائن کے ساتھ ، پگ میپریڈوسیس پر اعلی سطحی تجرید فراہم کرتا ہے۔ پگ پِل لاٹن تعمیرات کی تائید کرتا ہے ، جو جاوا میپریڈوسی پروگرام میں تبدیل ہوتے ہیں اور پھر ہڈوپ کلسٹر میں جمع کردیئے جاتے ہیں۔

جبکہ HiveQL SQL کی طرح ایک اعلانیہ زبان ہے ، جبکہ PigLatin ڈیٹا فلو کی زبان ہے۔ ایک PigLatin تعمیر کا آؤٹ پٹ کسی اور PigLatin تعمیر میں ان پٹ کے بطور بھیجا جاسکتا ہے۔

کچھ وقت پہلے ، کلوڈیرہ نے ایک عام ہڈوپ کلسٹر میں کام کے بوجھ کے بارے میں اعدادوشمار شائع کیے اور یہ آسانی سے دیکھا جاسکتا ہے کہ سور اور Hive کی ملازمتیں ہڈوپ کلسٹر میں ملازمتوں کا ایک اچھا حصہ بناتی ہیں۔ اعلی ڈویلپر کی پیداواری صلاحیت کی وجہ سے ، بہت ساری کمپنیاں پگ اور چھتے جیسے اعلی سطحی تجرید کا انتخاب کر رہی ہیں۔ لہذا ، ہم شرط لگا سکتے ہیں کہ جب میپریڈوسیس کی ترقی کے مقابلے میں Hive اور سور کے آس پاس ملازمت کے بہت سارے مواقع موجود ہوں گے۔

اگرچہ پروگرامنگ پِگ کی کتاب اکتوبر 2011 میں شائع ہوئی تھی ، لیکن پروگرامنگ Hive کی کتاب اکتوبر 2012 میں ، حال ہی میں شائع ہوئی تھی۔ جو لوگ آر ڈی بی ایم ایس کے ساتھ کام کرنے کا تجربہ رکھتے ہیں ، ان کے لئے ہیگ کے ساتھ شروعات کرنا سور کا آغاز کرنے سے بہتر انتخاب ہوگا۔ یہ بھی نوٹ کریں کہ پیل لاٹن زبان کے ساتھ شروع کرنا بہت مشکل نہیں ہے۔

بنیادی ہڈوپ کلسٹر کے ل it's ، یہ شفاف ہے کہ جاوا میپریڈوز نوکری پیش کی گئی ہے یا ہیپ اور پگ کے ذریعہ میپریڈس نوکری پیش کی گئی ہے۔ میپریڈوس ملازمتوں کی بیچ پر مبنی نوعیت کی وجہ سے ، Hive اور سور کے ذریعہ پیش کردہ ملازمتیں بھی بیچ پر مبنی ہیں۔

ریئل ٹائم ردعمل کی ضروریات کے ل H ، میپریڈوس ملازمتوں کی متذکرہ بیچ مبنی نوعیت کی وجہ سے ہیوی اور پگ ضروریات کو پورا نہیں کرتے ہیں۔ کلڈیرا نے امپالا تیار کیا ، جو ہڈوپ کے اوپری حصے پر انٹرایکٹو ایڈہاک سوالات کے ل D ڈیرمل (گوگل سے ایک اشاعت) پر مبنی ہے۔ امپالا ایس کیو ایل جیسے سوالات کی حمایت کرتا ہے اور وہ HiveQL کے ساتھ مطابقت رکھتا ہے۔ لہذا ، کسی بھی ایپلی کیشنز جو ہائیو کے سب سے اوپر بنائے گئے ہیں ان کو امپالا کے ساتھ کم سے کم تبدیلیوں کے ساتھ کام کرنا چاہئے۔ Hive اور Impala کے درمیان سب سے بڑا فرق یہ ہے کہ جب HiveQL جاوا میپریڈوسی نوکریوں میں تبدیل ہوتا ہے ، امپالا ایس کیو ایل کے استفسار کو جاوا میپریڈوسی ملازمتوں میں ڈھکی چھپی نہیں کرتا ہے۔

کیا آپ کو کسی خاص ضرورت کے لئے سور یا Hive کے ساتھ جانا چاہئے؟ یہ دوسرے بلاگ کا موضوع ہے۔

پروین سریپتی کی اجازت سے دوبارہ شائع ہوا۔ اصل مضمون یہاں پایا جاسکتا ہے: http://www.thecloudavenue.com/2012/12/intr پيداوار-to-apache-hive-and-pig.html