ٹیکوپیڈیا اسٹاف کے ذریعہ ، 2 جون ، 2016
ٹیکو وے: ہاڈوپ ماحولیاتی نظام مین فریموں پر استعمال کیا جارہا ہے تاکہ بڑے اعداد و شمار کو تیزی سے اور موثر طریقے سے پروسس کیا جاسکے۔
آپ فی الحال لاگ ان نہیں ہیں۔ ویڈیو دیکھنے کے لئے براہ کرم لاگ ان یا سائن اپ کریں۔
ایرک کااناگ: ٹھیک ہے خواتین و حضرات ، جمعرات کے وقت مشرقی وقت چار بجے ہے ، اور ان دنوں اس کا مطلب ہے کہ ہاٹ ٹکنالوجیوں کا یقینا وقت ہے۔ ہاں واقعی ، میرا نام ایرک کااناگ ہے۔ آج کے ویب سیمینار میں آپ کا ناظم ہوں گا۔ یہ اچھی چیزیں ہیں ، لوگ ، "بگ آئرن ، بیٹا ڈیٹا سے ملو"۔ میں صرف اس عنوان کو پسند کرتا ہوں - "ہڈوپ اور اسپارک کے ساتھ مین فریم ڈیٹا کو آزاد کرنا۔" ہم پرانی ملاقاتوں کے بارے میں بات کرنے جارہے ہیں۔ زبردست! ہم نے انٹرپرائز آئی ٹی کے گذشتہ 50 سالوں میں جس ہر چیز کے بارے میں بات کی ہے اس کے خاکہ کو ہم ڈھک رہے ہیں۔ چنگاری مین فریم سے ملتی ہے ، مجھے یہ پسند ہے۔
آپ کے بارے میں واقعتا and میرے بارے میں کافی جگہ ہے۔ سال گرم ہے۔ ہم اس سلسلے میں گرم عنوانات کے بارے میں بات کرتے ہیں کیونکہ ہم واقعی میں لوگوں کو کچھ مخصوص مضامین ، کچھ جگہوں کو سمجھنے میں مدد کرنے کی کوشش کر رہے ہیں۔ مثلا، تجزیاتی پلیٹ فارم رکھنے کا کیا مطلب ہے؟ بڑے اعداد و شمار کو مین فریموں سے آزاد کرنے کا کیا مطلب ہے؟ اس سارے سامان کا کیا مطلب ہے؟ ہم آپ کو مخصوص قسم کی ٹکنالوجیوں کو سمجھنے میں مدد کرنے کی کوشش کر رہے ہیں ، جہاں وہ مرکب میں فٹ ہوجاتے ہیں اور آپ ان کا استعمال کس طرح کرسکتے ہیں۔
ہمارے پاس آج دو تجزیہ کار ہیں اور پھر یقیناü ہم آہنگی کے میلان ٹینڈرü یوگارتو۔ وہ ہمارے خلا میں بصیرت ہے ، اسے آج ہمارے آن لائن ، ہمارے اپنے ڈی بلینک فیلڈ اور ڈاکٹر رابن بلور کے ساتھ مل کر بہت خوشی ہوئی ہے۔ میں صرف ایک دو فوری الفاظ کہوں گا۔ ایک تو ، لوگ ، آپ اس عمل میں بڑا حصہ لیتے ہیں ، لہذا براہ کرم کچھ اچھے سوالات پوچھتے ہوئے شرم محسوس نہ کریں۔ ہم ان سے ویب کاسٹ کے سوال و جواب کے اجزاء کے دوران جانا چاہتے ہیں ، جو عام طور پر شو کے اختتام پر ہوتا ہے۔ اور مجھے صرف اتنا کہنا پڑتا ہے کہ ہمارے پاس بہت اچھا مواد ہے ، لہذا میں یہ سن کر بہت خوش ہوں کہ ان لڑکوں کا کیا کہنا ہے۔ اور اس کے ساتھ ، میں اسے ڈیز بلینچفیلڈ کے حوالے کروں گا۔ Dez ، منزل آپ کی ہے ، اسے لے جاؤ.
ڈیز بلوچفیلڈ: ایرک کا شکریہ ، اور آج میں شرکت کے لئے آپ کا شکریہ۔ لہذا جب مجھے دنیا کی اپنی پسندیدہ چیزوں میں سے ایک مین فریمز کے بارے میں بات کرنے کا موقع ملتا ہے تو میں بہت پرجوش ہوجاتا ہوں۔ ان دنوں انہیں زیادہ پیار نہیں ملتا ہے۔ میرا خیال یہ ہے کہ مین فریم اصلی ڈیٹا کا اصلی پلیٹ فارم تھا۔ کچھ لوگ یہ استدلال کریں گے کہ وہ اس وقت صرف کمپیوٹر تھے اور یہ بنانے کے لئے ایک مناسب نقطہ ہے ، لیکن 60 سال سے زیادہ عرصے سے وہ واقعی انجن روم رہے ہیں جو دیر سے مقبول ڈیٹا رہا ہے۔ اور میں آپ کو ایک چھوٹا سا سفر کرنے جارہا ہوں کیوں کہ مجھے یقین ہے کہ معاملہ ایسا ہی ہے۔
ہم نے اس اسکرین پر نظر آنے والی تصویر سے مین فریمس شفٹ کے تناظر میں ٹکنالوجی ہارڈویئر اسٹیک میں ایک سفر دیکھا ہے۔ یہ میرا پسندیدہ انتخاب میں سے ایک پرانا FACOM مین فریم ہے۔ ہم نے خود کو لوہے کے بڑے مرحلے ، نوے کی دہائی کے آخر اور ڈاٹ کام کام کی تیزی میں شامل کیا ہے۔ یہ سن مائکرو سسٹم E10000 ہے۔ یہ چیز 96 سی پی یو میں مطلق عفریت تھی۔ اصل میں 64 لیکن اسے 96 سی پی یو میں اپ گریڈ کیا جاسکتا ہے۔ ہر سی پی یو 1،024 تھریڈ چلا سکتا ہے۔ ہر تھریڈ ایک ہی وقت میں درخواست کی شرح پر ہوسکتا ہے۔ یہ صرف راکشس تھا اور اس نے ڈاٹ کام کو تیزی سے چلادیا تھا۔ یہ سب بڑے یونیکورنز ہیں جیسے ہم انہیں کہتے ہیں ، اب ہم چل رہے ہیں ، اور نہ صرف بڑے کاروباری ادارے ، کچھ بڑی ویب سائٹیں۔
اور پھر ہم اس مشترکہ آف شیلف اجناس پی سی ماڈل کے ساتھ ختم ہوئے۔ ہم نے بہت سستی مشینیں اکٹھی کیں اور ہم نے ایک جھرمٹ تیار کیا اور ہم نے لوہے کے بڑے چیلنج سے رابطہ کیا اور خاص طور پر ہڈوپ پروجیکٹ کی شکل میں جو اوپن سورس سرچ انجن ، نچچ سے نکلا ہے اس کی شکل میں کیا بڑا ڈیٹا بن گیا۔ اور ہم نے بنیادی طور پر مین فریم اور بہت سارے سی پی یوز کو دوبارہ ترتیب دیا جس میں ایک دوسرے کے ساتھ چپک جانے اور ایل پاتھوں کی طرح کام کرنے کے قابل اور الگ ملازمتوں یا نوکریوں کے حصے چلانے کی صورت میں بنایا گیا تھا اور وہ بہت سے طریقوں سے کافی موثر تھے۔ اگر آپ نے چھوٹی شروعات کی ہے تو سستا ہے ، لیکن ان میں سے بہت سارے بڑے کلسٹر مین فریم سے کہیں زیادہ مہنگے ہو چکے ہیں۔
ان چیزوں کے بارے میں میرا نظریہ یہ ہے کہ ڈاٹ کام کی تیزی سے جو ویب 2.0 بن گیا اور اب ایک تنگاڑوں کا پیچھا کرتے ہوئے ، ہم یہ بھول گئے ہیں کہ یہ پلیٹ فارم اب بھی ہمارے بہت سے بڑے مشن ناگزیر نظاموں کو طاقتور بنارہا ہے۔ جب ہم سوچتے ہیں کہ وہاں مین فریم پلیٹ فارم پر کیا چل رہا ہے۔ یہ بہت بڑا اعداد و شمار ہے ، خاص طور پر ڈیٹا ورک ہارس ، لیکن یقینی طور پر بڑا ڈیٹا ہے۔ روایتی انٹرپرائز اور سرکاری سسٹم جیسے بینکنگ اور ویلتھ مینجمنٹ اور خاص طور پر انشورنس ، ہم سب ہر روز استعمال کرتے ہیں۔
ایئر لائن بکنگ اور فلائٹ مینجمنٹ سسٹم ، خاص طور پر فلائٹ مینجمنٹ جہاں ریئل ٹائم اہم ہوتا ہے۔ تقریبا every ہر ریاست اور وفاقی حکومت کا کسی نہ کسی وقت مین فریم ہوچکا ہے اور بہت سے لوگوں کے پاس اب بھی موجود ہے۔ پرچون اور مینوفیکچرنگ کچھ پرانے سافٹ ویئر جو ابھی قریب ہی رہے ہیں اور کبھی نہیں گئے۔ صرف بجلی کی تیاری کے ماحول کو جاری رکھے ہوئے ہے اور یقینی طور پر پیمانے پر خوردہ۔ میڈیکل سسٹمز۔ دفاعی نظام ، یقینی طور پر دفاعی نظام۔
ہفتوں کے اس آخری جوڑے میں نے اس حقیقت کے بارے میں بہت سے مضامین پڑھے ہیں کہ کچھ میزائل کنٹرول سسٹم ابھی بھی پرانے مین فریموں پر چل رہے ہیں جن کے حصے تلاش کرنے کے لئے وہ جدوجہد کر رہے ہیں۔ وہ یہ جان رہے ہیں کہ نئے مین فریموں میں کس طرح اپ گریڈ کیا جائے۔ نقل و حمل اور رسد کے نظام۔ یہ سیکسی ٹاپکس کی طرح محسوس نہیں ہوسکتے ہیں لیکن یہ وہ عنوانات ہیں جن کا ہم روزانہ کی بنیاد پر خطوط کے ساتھ معاملات کرتے ہیں۔ اور کچھ بہت بڑے ٹیلی مواصلات کے ماحول ابھی بھی مین فریم پلیٹ فارم پر چلتے ہیں۔
جب آپ ان اعداد و شمار کی ان اقسام کے بارے میں سوچتے ہیں جو وہاں موجود ہیں تو ، وہ سب کے سب اہم ہیں۔ وہ واقعی میں ایک اہم پلیٹ فارم اور پلیٹ فارم ہیں جو ہم ہر روز مستفید کرتے ہیں اور کئی طریقوں سے زندگی کو ممکن بناتے ہیں۔ تو پھر بھی کون مین فریم استعمال کر رہا ہے اور یہ سب لوگ کون ہیں جو ان بڑے پلیٹ فارمز پر فائز ہیں اور اس سارے ڈیٹا کو پکڑ رہے ہیں؟ ٹھیک ہے ، جیسا کہ میں نے یہاں کہا کہ مجھے یقین ہے کہ میڈیا کی طرف سے بڑے لوہے سے عام شیلف کلسٹروں یا سستے پی سی یا ایکس 86 مشینوں کے ریک کی طرف بے وقوف بننا آسان ہے ، یہ سوچ کر کہ مین فریم مر گیا اور چلا گیا۔ لیکن اعداد و شمار کا کہنا ہے کہ مین فریم کبھی نہیں جاتا تھا اور حقیقت میں یہیں رہنا ہے۔
پچھلے دو ہفتوں میں جو تحقیق میں نے یہاں جمع کی ہے اس سے یہ ظاہر ہوا ہے کہ 70 فیصد انٹرپرائز ، خاص طور پر بڑا انٹرپرائز ، اعداد و شمار ابھی بھی کسی نہ کسی شکل کے مین فریم پر رہتے ہیں۔ فارچون 500s کا اکیاسی فیصد اب بھی کہیں کہیں مین فریموں پر بنیادی کاروباری نظام چلاتا ہے۔ در حقیقت ، یہاں آسٹریلیا میں ، ہمارے پاس متعدد تنظیمیں ہیں جن کے پاس شہر کے وسط میں ڈیٹا سینٹر ہے۔ یہ ایک حقیقی زیر زمین کمپیوٹر ہے ، اور مین فریموں کی تعداد ابھی وہاں چل رہی ہے ، ٹک کر رہی ہے اور خوشی خوشی اپنا کام کر رہی ہے۔ اور بہت ہی کم لوگ جانتے ہیں کہ شہر کے ایک خاص حص inے میں سیدھے پیروں کے نیچے سڑکوں پر گھومنا پھرتا ہے ، جہاں مین فریموں سے بھرا ہوا یہ بہت بڑا ڈیٹا سینٹر ہے۔ دنیا بھر کے 100 بینکوں میں سے بانوے ، سرفہرست 100 بینکس جو اب بھی مین فریموں پر بینکاری نظام چلاتے ہیں۔ پوری دنیا میں پچیس پرچون چینوں میں سے تئیس ، ای آئی پی اور بی آئی پلیٹ فارمز میں اپنے خوردہ نظم و نسق کے نظام کو چلانے کے لئے مین فریموں کا استعمال کرتے ہیں۔
دلچسپ بات یہ ہے کہ ، سر فہرست 10 میں سے 10 بیمہ کار اب بھی مین فریم پر اپنے پلیٹ فارم چلاتے ہیں ، اور وہ در حقیقت اپنی کلاؤڈ سروسز کو مین فریم پر طاقت دیتے ہیں۔ اگر آپ کہیں بھی ویب انٹرفیس یا موبائل ایپ استعمال کررہے ہیں جہاں مڈل ویئر موجود ہے تو یہ انٹرفیس ہے ، جو دراصل آخر میں کسی بھاری اور بڑی چیز سے بات کرتا ہے۔
میں نے دنیا بھر میں 225 سے زیادہ ریاستی اور مقامی سرکاری ایجنسیوں کو ابھی بھی مین فریم پلیٹ فارم پر چلتے ہوئے پایا ہے۔ مجھے یقین ہے کہ اس کی بہت سی وجہ ہے۔ ہوسکتا ہے کہ ان کے پاس نئے آئرن پر غور کرنے کے لئے بجٹ نہ ہو لیکن یہ بہت بڑے ماحول کا ایک بہت بڑا نقشہ ہے جو مین فریم پر چل رہا ہے جس میں کچھ انتہائی اہم اعداد و شمار موجود ہیں۔ اور جیسا کہ میں نے پہلے ذکر کیا ہے ، زیادہ تر ممالک اب بھی مین فریم پر اپنے کلیدی دفاعی نظام چلاتی ہیں۔ مجھے یقین ہے کہ بہت سے طریقوں سے وہ وہاں سے اترنے کی کوشش کر رہے ہیں لیکن آپ وہاں جائیں گے۔
2015 میں آئی ڈی سی نے ایک سروے چلایا اور سروے میں شامل 350 افراد نے رپورٹ کیا کہ وہ اب بھی مین فریموں کی شکل میں بڑے آئرن کے مالک ہیں اور ان کا انتظام کرتے ہیں۔ اور اس نے مجھے مارا کہ اس بات کا امکان ہے کہ یہ اس وقت بڑے پیمانے پر ہڈوپ کلسٹروں کی تعداد سے زیادہ ہے جو اس وقت دنیا بھر میں چل رہے ہیں۔ میں آگے جاؤں گا اور اس کی توثیق کروں گا ، لیکن یہ بڑی تعداد میں تھا۔ تین سو پچاس سی آئی اوز نے رپورٹ کیا کہ ان کے پاس ایک یا ایک سے زیادہ مین فریم ابھی باقی ہیں۔
پچھلے سال ، 2015 ، IBM نے ہمیں طاقتور Z13 ، ان کے مین فریم پلیٹ فارم کی 13 ویں تکرار دی۔ میڈیا اس چیز کے بارے میں حیرت زدہ ہے کیونکہ وہ حیران تھے کہ آئی بی ایم اب بھی مین فریم بنا رہا ہے۔ جب انھوں نے سر کو اوپر اٹھایا اور اس پر غور کیا کہ اس چیز کے نیچے کیا ہے ، تو انھوں نے محسوس کیا کہ یہ حقیقت میں تقریبا every ہر جدید پلیٹ فارم کے مترادف ہے جس کے بارے میں ہم بڑے اعداد و شمار ، ہڈوپ اور یقینی طور پر کلسٹرز کی شکل میں پرجوش ہوجاتے ہیں۔ یہ چیز اسپارک اور اب ہڈوپ آبائی طور پر چل رہی ہے۔ آپ اس پر ہزاروں اور ہزاروں لینکس مشینیں چلاسکتے تھے اور یہ کسی دوسرے کلسٹر کی طرح نظر آرہا تھا۔ یہ کافی حیران کن مشین تھی۔
متعدد تنظیموں نے ان چیزوں کو اٹھایا اور حقیقت میں میں نے اس میں سے کچھ اعداد و شمار کئے کہ ان مشینوں میں سے کتنی مشینیں لگ رہی ہیں۔ اب میں نے یہ نظریہ دیکھا ہے کہ 3270 ٹیکسٹ ٹرمینل کو ویب براؤزرز اور موبائل ایپس نے کچھ عرصہ سے تبدیل کردیا ہے اور اس میں اعداد و شمار کی کافی مقدار موجود ہے جو اس کی تائید کرتا ہے۔ میرے خیال میں اب ہم ایک ایسے دور میں داخل ہو رہے ہیں جہاں ہمیں یہ احساس ہو گیا ہے کہ یہ مین فریم ختم نہیں ہورہے ہیں اور ان میں کافی تعداد میں ڈیٹا موجود ہے۔ اور اس طرح ہم اب جو کچھ کر رہے ہیں وہی اس چیز کو شامل کرنا ہے جسے میں شیلف تجزیاتی ٹولز سے دور کہتے ہوں۔ یہ کسٹم بلٹ ایپس نہیں ہیں۔ یہ ایسی چیزیں ہیں جو ایک دفعہ ہیں۔ یہ ایسی چیزیں ہیں جو آپ لفظی طور پر صرف ایک پیک پیک باکس میں خرید سکتے ہیں اور اپنے مین فریم میں پلگ سکتے ہیں اور کچھ تجزیات کرسکتے ہیں۔
جیسا کہ میں نے پہلے بھی کہا ، حقیقت میں مین فریم 60 سال سے زیادہ عرصہ سے جاری ہے۔ جب ہم سوچتے ہیں کہ یہ کتنا لمبا ہے ، یہ زیادہ تر آئی ٹی پروفیشنلز کے کیریئر سے زیادہ لمبا ہوتا ہے۔ اور حقیقت میں شاید ان کی کچھ زندگی ، یہاں تک کہ۔ 2002 میں آئی بی ایم نے 2،300 مین فریم فروخت کیے۔ 2013 میں جو بڑھ کر 2،700 مین فریم ہو گیا۔ یہ 2013 میں ایک سال میں مین فریموں کی 2،700 فروخت ہے۔ میں 2015 کو درست اعداد و شمار حاصل نہیں کرسکا لیکن میں تصور کرتا ہوں کہ یہ 2015 ، 2013 میں ایک سال میں فروخت ہونے والی 3000 یونٹوں کے قریب تیزی سے قریب آرہا ہے۔ اور میں اس بات کی تصدیق کرنے کے منتظر ہوں گے۔
زیڈ 13 کی رہائی کے ساتھ ، مین فریم پلیٹ فارم کی 13 ویں تکرار ، جس کے بارے میں میرے خیال میں ان کی قیمت تقریبا 1 یا 1.3 بلین ڈالر ہے جو شروع سے ہی تیار ہوسکتی ہے ، آئی بی ایم ، یعنی ، یہاں ایک ایسی مشین نظر آتی ہے جو کسی دوسرے کلسٹر کی طرح دکھتی ہے اور محسوس کرتی ہے کہ ہمارے پاس آج ہے ، اور ہڈوپ اور چنگاری چلاتے ہیں۔ اور یقینی طور پر دوسرے تجزیات اور بڑے ڈیٹا ٹولز سے منسلک ہوسکتا ہے یا اپنے موجودہ یا نئے ہڈوپ کلسٹرز میں سے کسی سے مستقل طور پر جڑا جاسکتا ہے۔ میرا یہ نظریہ ہے کہ آپ کی بڑی ڈیٹا اسٹریٹیجی میں مین فریم پلیٹ فارم کو شامل کرنا ضروری ہے۔ ظاہر ہے ، اگر آپ کے پاس ہے تو ، آپ کو بہت سارے ڈیٹا مل گئے ہیں اور آپ یہ جاننا چاہتے ہیں کہ وہاں سے کیسے نکلا جائے۔ اور جہاں تک کاروبار کی دنیا جاتی ہے ، ذہنی اور جذباتی طور پر انھیں متعدد طریقوں سے دھول اکٹھا کرنے کے لئے چھوڑا جارہا ہے ، لیکن وہ یہاں رہنے کے لئے موجود ہیں۔
آپ کے تجزیہ کار ٹولز کو مین فریم ہوسٹ شدہ ڈیٹا سے مربوط کرنے اور انٹرفیس کرنا آپ کے انٹرپرائز کا خاص حصہ ہونا چاہئے اور خاص کر حکومت کے بڑے اعداد و شمار کے منصوبوں کو۔ اور مستقل طور پر اب سوفٹویئر ان کو غور سے دیکھ رہا ہے ، ان پر اچھی طرح نظر ڈال رہا ہے اور ان چیزوں کے اندر کیا ہے اس کا ادراک کر رہا ہے اور ذہنوں کو جوڑ رہا ہے جس سے تھوڑا سا بصیرت اور تھوڑا سا احساس حاصل ہوتا ہے جو حقیقت میں ہڈ کے نیچے ہے۔ اور اس کے ساتھ ہی میں اپنے عزیز ساتھی ، ڈاکٹر رابن بلور کے حوالے کروں گا اور وہ اس چھوٹے سفر میں مزید اضافہ کریں گے۔ رابن ، اسے لے جاؤ۔
رابن بلور: ٹھیک ہے ، آپ کا شکریہ۔ ٹھیک ہے ، چونکہ ڈیز نے مین فریم کا گانا گایا ہے ، لہذا میں اس میں چلا جاؤں گا جو میرے خیال میں پرانی مین فریم دنیا اور نئی ہڈوپ دنیا کے لحاظ سے ہو رہا ہے۔ میرا اندازہ ہے کہ یہاں بڑا سوال یہ ہے کہ آپ اس سارے ڈیٹا کا نظم کیسے کرتے ہیں؟ یہ میری رائے نہیں ہے کہ اعداد و شمار کی بڑی صلاحیت کے سلسلے میں مین فریم کو چیلنج کیا جارہا ہے - اس کی ڈیٹا کی بڑی صلاحیت انتہائی ہے ، جیسا کہ ڈیز نے بتایا ہے کہ یہ انتہائی قابل ہے۔ اصل حقیقت میں آپ اس پر ہڈوپ کلسٹر لگا سکتے ہیں۔ جہاں اسے چیلنج کیا جارہا ہے وہ اس کے ماحولیاتی نظام کے لحاظ سے ہے اور میں اس پر تفصیل سے بیان کروں گا۔
یہاں کچھ مین فریم پوزیشننگ ہے۔ اس کی لاگت میں زیادہ لاگت آتی ہے اور ماضی میں واقعی کیا ہوا ہے ، 'mid کی دہائی کے وسط سے جب مین فریموں کی مقبولیت ڈوبنے لگی تو اس کا رجحان کم ہوجاتا ہے ، وہ لوگ جنہوں نے سستے مین فریم خریدے تھے اور یہ نہیں تھا واقعی خاص طور پر ان لوگوں کے لئے معاشی نہیں ہے۔ لیکن مین فریم کے درمیانی فاصلے اور اعلی رینج میں اصل میں یہ اب بھی اصل میں تھا ، اور یہ واقعی ناقابل یقین حد تک سستا کمپیوٹنگ ہے۔
یہ کہنا تھا ، لینکس کے ذریعہ بچایا گیا کیونکہ لینکس نے مین فریم پر عمل درآمد کرکے لینکس کے تمام ایپلی کیشنز کو چلانا ممکن بنایا۔ لینکس کی بہت سی ایپلی کیشنز وہاں چلی گئیں اس سے پہلے کہ بڑے اعداد و شمار میں ایک لفظ ، یا دو الفاظ بھی تھے۔ یہ دراصل نجی بادل کے لئے کافی بہترین پلیٹ فارم ہے۔ اس کی وجہ سے یہ ہائبرڈ کلاؤڈ تعیناتیوں میں حصہ لے سکتا ہے۔ پریشانیوں میں سے ایک یہ ہے کہ مین فریم مہارت کی فراہمی بہت کم ہے۔ مین فریم ہنر جو موجود ہیں دراصل اس لحاظ سے عمر رسیدہ ہیں کہ لوگ انڈسٹری کو ہر سال ریٹائرمنٹ کے لئے چھوڑ دیتے ہیں اور وہ صرف لوگوں کی تعداد کے لحاظ سے تبدیل ہو رہے ہیں۔ تو یہ ایک مسئلہ ہے۔ لیکن یہ اب بھی سستا کمپیوٹنگ ہے۔
یہ علاقہ جہاں اسے یقینا چیلنج کیا گیا ہے ، یہ پوری ہڈوپ چیز ہے۔ اصل ڈوڈو ہاتھی کے ساتھ ڈوگ کٹنگ کی وہ تصویر ہے۔ ہڈوپ ایکو سسٹم ہے - اور یہ قائم رہتا ہے - غالب ڈیٹا ایکو سسٹم۔ یہ مین فریم سے بہتر پیمانے پر پیش کرتا ہے جو حقیقت میں حاصل کرسکتا ہے اور لمبے راستے میں ڈیٹا اسٹور کی حیثیت سے اس کی کم لاگت آتی ہے۔ ہڈوپ ماحولیاتی نظام تیار ہورہا ہے۔ اس کے بارے میں سوچنے کا بہترین طریقہ ایک بار ایک خاص ہارڈ ویئر پلیٹ فارم ہے اور اس کے ساتھ آپریٹنگ ماحول غالب ہوجاتا ہے ، پھر ماحولیاتی نظام زندہ ہوجاتا ہے۔ اور یہ آئی بی ایم مین فریم کے ساتھ ہوا۔ ٹھیک ہے ، بعد میں ڈیجیٹل VAX کے ساتھ ہوا ، اتوار کے سرورز کے ساتھ ہوا ، ونڈوز کے ساتھ ہوا ، لینکس کے ساتھ ہوا۔
اور ہوا یہ ہے کہ ہڈوپ ، جس کے بارے میں میں ہمیشہ سوچتا ہوں یا اعداد و شمار کے لئے تقسیم شدہ ماحول کی حیثیت سے ، اس کے بارے میں سوچنا چاہتا ہوں ، ماحولیاتی نظام ناقابل یقین شرح پر تیار ہورہا ہے۔ میرا مطلب ہے کہ اگر آپ صرف ان متعدد متاثر کن شراکتوں کا ذکر کریں جو اوپن سورس ، اسپارک ، فلنک ، کافکا ، پریسٹو ہیں ، اور پھر آپ اس میں کچھ ڈیٹا بیس ، NoSQL اور SQL صلاحیتوں کو شامل کرتے ہیں جو اب ہڈوپ پر بیٹھے ہیں۔ ہڈوپ ایک انتہائی فعال ماحولیاتی نظام ہے جو واقعی وہاں موجود ہے ، یقینی طور پر کارپوریٹ کمپیوٹنگ میں۔ لیکن اگر آپ اس کو ڈیٹا بیس کے طور پر سمجھنا چاہتے ہیں تو ، اس وقت اس سے کوئی موازنہ برداشت نہیں ہوگا جس کے بارے میں میں اصل ڈیٹا بیس کے طور پر سوچتا ہوں ، خاص طور پر ڈیٹا گودام کی جگہ میں۔ اور یہ ایک خاص حد تک بہت سے بڑے نمبر ایس کیو ایل ڈیٹا بیس کی کامیابی کی وضاحت کرتا ہے جو ہڈوپ جیسے کوچ ڈی بی اور اسی طرح نہیں چلتے ہیں۔
بطور ڈیٹا جھیل اس میں کسی بھی دوسرے پلیٹ فارم کی نسبت بہت زیادہ خوشحال ماحولیاتی نظام ہے اور اس سے بے گھر ہونے کی ضرورت نہیں ہے۔ اس کا ماحولیاتی نظام صرف اوپن سورس ماحولیاتی نظام نہیں ہے۔ اب سافٹ ویئر ممبروں کی ڈرامائی تعداد موجود ہے جن کے پاس ایسی مصنوعات موجود ہیں جو بنیادی طور پر ہڈوپ کے لئے بنی ہیں یا ہڈوپ کو درآمد کی گئیں ہیں۔ اور انہوں نے ابھی ایک ماحولیاتی نظام بنایا ہے کہ اس کی وسعت کے لحاظ سے اس کے ساتھ مقابلہ کرنے والی کوئی چیز نہیں ہے۔ اور اس کا مطلب یہ ہے کہ یہ واقعی ڈیٹا کی جدت طرازی کا پلیٹ فارم بن گیا ہے۔ لیکن میری رائے میں یہ ابھی تک نامکمل ہے اور ہم اس بارے میں طویل گفتگو کر سکتے ہیں کہ کیا ہے اور کیا نہیں ، آئیے کہتے ہیں ، ہڈوپ کے ساتھ عملی طور پر سمجھدار ہوں لیکن میرے خیال میں زیادہ تر لوگ جو اس مخصوص علاقے کو دیکھ رہے ہیں وہ بخوبی واقف ہیں کہ ہڈوپ مین فریم کے پیچھے کئی دہائیاں پیچھے ہے۔ آپریشنل صلاحیت کے لحاظ سے۔
ارتقا پذیر ڈیٹا جھیل۔ ڈیٹا جھیل کسی بھی تعریف کا ایک پلیٹ فارم ہے اور اگر آپ کو لگتا ہے کہ اب کارپوریٹ کمپیوٹنگ میں ڈیٹا لیئر موجود ہے تو اس کے بارے میں فکسڈ ڈیٹا بیس کے علاوہ اعداد و شمار کی پرت کو بنانے کے ل data ڈیٹا لیک کے بارے میں سوچنا بہت آسان ہے۔ ڈیٹا لیک کی ایپلی کیشنز متعدد اور مختلف ہیں۔ مجھے یہاں ایک آریھ مل گیا ہے جو صرف مختلف اعداد و شمار میں گھومنے والی چیزوں سے گزرتا ہے جنہیں کرنے کی ضرورت ہے اگر آپ ہڈوپ کو اسٹیجنگ ایریا یا ہڈوپ اور اسپارک کو اسٹیجنگ ایریا کے طور پر استعمال کریں۔ اور آپ کو پوری چیز مل گئی ہے - ڈیٹا نسب ، ڈیٹا صاف کرنا ، میٹا ڈیٹا مینجمنٹ ، میٹا ڈیٹا دریافت - یہ خود ای ٹی ایل کے لئے استعمال کیا جاسکتا ہے لیکن اکثر ڈیٹا لانے کے لئے ای ٹی ایل کی ضرورت ہوتی ہے۔ ماسٹر ڈیٹا مینجمنٹ ، ڈیٹا کی کاروباری تعریفیں ، سروس مینجمنٹ ہڈوپ میں کیا ہو رہا ہے ، ڈیٹا کا لائف سائیکل مینجمنٹ ، اور ای ڈی ایل ہاڈوپ سے باہر ، اور یہ بھی آپ کے پاس براہ راست تجزیات کی ایپلی کیشنز ہیں جو آپ ہڈوپ پر چلا سکتے ہیں۔
اور یہی وجہ ہے کہ یہ بہت طاقت ور ہوچکا ہے اور جہاں اس پر عمل درآمد اور کامیابی سے عمل درآمد کیا گیا ہے ، عام طور پر اس میں کم از کم اس قسم کی ایپلی کیشنز کا ایک مجموعہ ہوتا ہے جو اس کے اوپر چلتا ہے۔ اور ان میں سے زیادہ تر ایپلی کیشنز ، خاص طور پر جن کے بارے میں مجھے آگاہ کیا گیا ہے ، وہ ابھی مین فریم پر دستیاب نہیں ہیں۔ لیکن آپ ان کو مین فریم پر ، ایک ہڈوپ کلسٹر پر چلا سکتے ہیں جو مین فریم کے ایک حصہ میں چل رہا تھا۔
میری رائے میں ، ڈیٹا جھیل تیزی سے ڈیٹا بیس تجزیات اور BI کے لئے قدرتی اسٹیجنگ ایریا بن رہی ہے۔ یہ وہ جگہ بن جاتی ہے جہاں آپ ڈیٹا لیتے ہیں ، چاہے وہ کارپوریٹ ڈیٹا ہو یا بیرونی اعداد و شمار ، اس تک گڑبڑ ہوجائیں یہاں تک کہ ، کہتے ہیں ، استعمال کرنے کے لئے کافی صاف اور استعمال کرنے کے لئے اچھی طرح سے تشکیل دیا گیا ہے اور پھر آپ اسے آگے بڑھاتے ہیں۔ اور یہ سب ابھی بھی ابتدائی دور میں ہے۔
میری رائے میں ، مین فریم / ہڈوپ بقائے باہمی کے بارے میں ، پہلی بات یہ ہے کہ بڑی کمپنیاں مین فریم کو ترک کرنے کا امکان نہیں رکھتی ہیں۔ در حقیقت ، میں نے جو اشارے حال ہی میں دیکھے ہیں اس سے یہ ظاہر ہوتا ہے کہ مین فریم میں بڑھتی ہوئی سرمایہ کاری ہو رہی ہے۔ لیکن وہ ہڈوپ ماحولیاتی نظام کو بھی نظرانداز نہیں کریں گے۔ میں ہڈوپ استعمال کرنے والی 60 فیصد بڑی کمپنیوں کے اعداد و شمار دیکھ رہا ہوں یہاں تک کہ اگر ان میں سے بہت ساری حقیقت میں صرف پروٹو ٹائپنگ اور تجربہ کر رہی ہو۔
تب پھراؤ یہ ہے کہ ، "آپ ان دو چیزوں کو ایک ساتھ کیسے بناتے ہیں؟" کیوں کہ ان کو ڈیٹا شیئر کرنے کی ضرورت ہوگی۔ ڈیٹا جو ڈیٹا لیک میں لایا جاتا ہے انہیں مین فریم میں منتقل کرنے کی ضرورت ہے۔ دوسرے ڈیٹا میں شامل ہونے کے ل Data اعداد و شمار کو جو مین فریم پر ہے ڈیٹا کو لیک یا ڈیٹا لیک کے ذریعے جانا پڑ سکتا ہے۔ اور یہ ہونے والا ہے۔ اور اس کا مطلب ہے کہ اس میں تیز تر ڈیٹا کی منتقلی / ETL صلاحیت کی ضرورت ہے۔ اس کا امکان نہیں ہے کہ کام کے بوجھ متحرک طور پر مشترکہ ہوں گے ، ہم کہتے ہیں کہ مین فریم ماحول یا ہڈوپ ماحول میں کسی چیز کے ساتھ۔ یہ مشترکہ ڈیٹا بننے جارہا ہے۔ اور اعداد و شمار کی اکثریت لامحالہ ہڈوپ پر رہتی ہے کیونکہ اس کے لئے یہ سب سے کم لاگت والا پلیٹ فارم ہے۔ اور ممکن ہے کہ آخری سے آخر تک تجزیاتی پروسیسنگ بھی اسی جگہ مقیم ہوگی۔
خلاصہ یہ کہ آخر کار ہمیں کارپوریٹ ڈیٹا پرت کے معاملے میں سوچنے کی ضرورت ہے ، جس میں بہت سی کمپنیوں کے لئے مین فریم شامل ہوگا۔ اور اس ڈیٹا پرت کو تیزی سے انتظام کرنے کی ضرورت ہے۔ بصورت دیگر دونوں ایک ساتھ نہیں رہ سکتے ہیں۔ میں آپ کو ایرک کے پاس گیند واپس بھیج سکتا ہوں۔
ایرک کااناگ : ایک بار پھر ، ٹینڈرü میں نے ابھی آپ کو پیش کنندہ بنایا ہے ، لہذا اسے لے لو۔
تندرü یوگورٹو: آپ کا شکریہ ، ایرک۔ مجھے رکھنے کے لئے آپ کا شکریہ. ہائے ، سب میں صارفین کے ساتھ ہم آہنگی کے تجربے کے بارے میں بات کروں گا اس سلسلے میں کہ ہم کیسے دیکھتے ہیں کہ تنظیم میں کسی اثاثہ کے اعداد و شمار کو مین فریم سے لے کر تجزیاتی پلیٹ فارم کے بڑے اعداد و شمار تک لگایا جاتا ہے۔ اور میں امید کرتا ہوں کہ ہمارے پاس سیشن کے اختتام پر حاضرین سے سوالات کرنے کا وقت بھی ہوگا کیونکہ یہ واقعی ان ویب کاسٹوں کا سب سے قیمتی حصہ ہے۔
صرف ان لوگوں کے لئے جو نہیں جانتے ہیں کہ Syncsort کیا کرتا ہے ، Syncsort ایک سافٹ ویئر کمپنی ہے۔ ہم واقعی میں 40 سال سے زیادہ گزر چکے ہیں۔ مین فریم سائیڈ سے شروع ہوا اور ہماری مصنوعات مین فریم سے لے کر یونیکس تک بڑے ڈیٹا پلیٹ فارمز تک پھیلی ، جن میں ہڈوپ ، اسپارک ، اسپلنک شامل ہیں ، دونوں بنیادوں پر اور بادل میں۔ ہماری توجہ ہمیشہ ڈیٹا پروڈکٹس ، ڈیٹا پروسیسنگ اور ڈیٹا انضمام مصنوعات پر رہتی ہے۔
بڑے اعداد و شمار اور ہڈوپ کے حوالے سے ہماری حکمت عملی واقعی ایک دن سے ہی ماحولیاتی نظام کا حصہ بننے کے لئے رہی ہے۔ بہت کم وزن والے انجنوں کے ذریعہ واقعتا data ڈیٹا پروسیسنگ پر توجہ مرکوز کرنے والے دکانداروں کے مالک ہونے کے ناطے ، ہم نے سوچا تھا کہ ڈیٹا پروسیسنگ پلیٹ فارم بننے میں ہڈوپ میں حصہ لینے اور تنظیم کے لئے اس اگلی نسل کے ڈیٹا گودام فن تعمیر کا حصہ بننے کا ایک بہت بڑا موقع ہے۔ ہم میپریڈوسیس سے شروع ہونے والے اوپن سورس اپاچی پروجیکٹس میں شراکت دار ہیں۔ ہڈوپ ورژن 2 کے ل the ٹاپ ٹین میں شامل رہے ہیں ، اور اسپرارک پیکیجوں سمیت متعدد منصوبوں میں بھی حصہ لیا ہے ، ہمارے کچھ رابط اسپارک پیکجوں میں شائع ہوتے ہیں۔
ہم اپنے ہلکے وزن میں ڈیٹا پروسیسنگ انجن کا فائدہ اٹھاتے ہیں جو مکمل طور پر فلیٹ فائل پر مبنی میٹا ڈیٹا ہے اور تقسیم شدہ فائل سسٹم جیسے ہڈوپ ڈسٹریبیوٹڈ فائل سسٹم کے ساتھ بہت اچھ .ا ہے۔ اور ہم اپنے وسیع ورثہ کو مین فریم پر حاصل کرتے ہیں ، الگورتھم کے ساتھ اپنی مہارت حاصل کرتے وقت جب ہم اپنی بڑی ڈیٹا مصنوعات تیار کرتے ہیں۔ اور ہم بڑے دکانداروں ، بڑے کھلاڑیوں کے ساتھ بہت قریب سے شراکت کرتے ہیں جن میں ہارٹن ورکس ، کلوڈیرہ ، میپ آر ، اسپلنک شامل ہیں۔ ہارٹن ورکس نے حال ہی میں اعلان کیا ہے کہ وہ ہڈوپ کے ساتھ ای ٹی ایل کے جہاز پر چلنے کے لئے ہماری مصنوعات کو دوبارہ فروخت کریں گے۔ ڈیل اور کلوڈیرہ کے ساتھ ہماری ایک بہت قریب کی شراکت ہے جو ہمارے ETL پروڈکٹ کو ان کے بڑے ڈیٹا آلات کے حصے کے طور پر دوبارہ فروخت کررہی ہے۔ اور اصل میں اسپلنک کے ساتھ ، ہم اسپلنک ڈیش بورڈز میں مین فریم ٹیلی میٹری اور سیکیورٹی ڈیٹا شائع کرتے ہیں۔ ہماری گہری شراکت ہے۔
ہر سی سطح کے ایگزیکٹو کے ذہن میں کیا بات ہے؟ یہ واقعی ہے ، "میں اپنے ڈیٹا کے اثاثوں کو کیسے ٹیپ کروں؟" ہر شخص بڑے ڈیٹا کے بارے میں بات کر رہا ہے۔ ہر کوئی ہڈوپ ، اسپارک ، اگلے کمپیوٹر پلیٹ فارم کے بارے میں بات کر رہا ہے جو کاروبار میں چپلتا پیدا کرنے اور نئی تبدیلی کی ایپلی کیشنز کھولنے میں میری مدد کرسکتا ہے۔ بازار میں جانے کے نئے مواقع۔ ہر ایک ایگزیکٹو سوچ رہا ہے ، "میری ڈیٹا کی حکمت عملی کیا ہے ، میرا ڈیٹا کا اقدام کیا ہے ، اور میں یہ کیسے یقینی بناتا ہوں کہ میں اپنے مقابلے سے پیچھے نہیں رہوں گا ، اور اگلے تین سالوں میں بھی میں اس بازار میں ہوں؟" جیسا کہ ہم اپنے صارفین سے بات کرتے ہیں اسے دیکھیں ، جیسا کہ ہم اپنے عالمی کسٹمر بیس سے بات کرتے ہیں ، جو کافی بڑا ہے ، جیسا کہ آپ تصور کرسکتے ہیں ، چونکہ ہم تھوڑی دیر سے رہے ہیں۔
جیسا کہ ہم ان سب تنظیموں کے ساتھ بات کرتے ہیں ہم ہڈوپ کے ساتھ پیش آنے والے خلل میں ٹیکنالوجی کے اسٹیک میں بھی اسے دیکھتے ہیں۔ یہ ایک اثاثہ کے طور پر اعداد و شمار کے بارے میں اس مطالبہ کو پورا کرنے کے لئے واقعی ہے۔ کسی تنظیم کے پاس موجود تمام ڈیٹا اثاثوں کا فائدہ اٹھا رہا ہے۔ اور ہم نے انٹرپرائز ڈیٹا گودام فن تعمیر کو اس طرح تیار ہوتے دیکھا ہے کہ ہڈوپ اب جدید ڈیٹا فن تعمیر کا نیا مرکز ہے۔ اور ہمارے بیشتر صارفین چاہے وہ مالی خدمات ہوں ، خواہ وہ انشورنس ہو ، خوردہ فروشی کا ٹیلی کام ، عام طور پر یا تو ہمیں یہ معلوم ہوتا ہے کہ ہڈوپ کو بطور سروس یا ڈیٹا بطور سروس مل جاتا ہے۔ کیونکہ ہر شخص اپنے بیرونی مؤکلوں یا داخلی مؤکلوں کے لئے اعداد و شمار کے اثاثے دستیاب بنانے کی کوشش کر رہا ہے۔ اور کچھ تنظیموں میں ہم ایسے اقدامات دیکھتے ہیں جیسے اپنے مؤکلوں کے لئے ڈیٹا مارکیٹ کی جگہ۔
اور اسے حاصل کرنے کے پہلے اقدامات میں سے ایک یہ کہ انٹرپرائز ڈیٹا ہب بنانے سے ہے۔ کبھی کبھی لوگ اسے ڈیٹا جھیل کہتے ہیں۔ اس انٹرپرائز ڈیٹا حب کو بنانا دراصل اتنا آسان نہیں ہے جتنا یہ لگتا ہے کیونکہ اس میں واقعی کسی بھی ڈیٹا تک رسائی حاصل کرنے اور جمع کرنے کی ضرورت ہوتی ہے۔ اور وہ اعداد و شمار اب موبائل سینسر کے ساتھ ساتھ میراثی ڈیٹا بیس جیسے سبھی نئے ذرائع سے ہے اور یہ بیچ وضع اور اسٹریمنگ موڈ میں ہے۔ تاہم ، اعداد و شمار کی انضمام ہمیشہ ایک چیلنج رہا ہے ، لیکن اعداد و شمار کے ذرائع کی تعداد اور مختلف ترسیل کے انداز ، چاہے یہ بیچ ہو یا ریئل ٹائم کو متحرک کرنا ، یہ دس سال پہلے کے مقابلے میں ، اس سے کہیں زیادہ مشکل ہے۔ ہم بعض اوقات اس کا حوالہ دیتے ہیں ، "اب یہ آپ کے والد کی ای ٹی ایل نہیں ہے۔"
تو ہم مختلف ڈیٹا اثاثوں کے بارے میں بات کرتے ہیں۔ چونکہ کاروباری ادارے نئے اعداد و شمار کو سمجھنے کی کوشش کر رہے ہیں ، وہ اعداد و شمار جو وہ موبائل آلات سے جمع کرتے ہیں ، چاہے وہ کار سازی میں موجود سینسر ہوں یا پھر یہ کسی موبائل گیمنگ کمپنی کا صارف ڈیٹا ہے ، انہیں اکثر اہم اعداد و شمار کے اثاثوں کا حوالہ دینا پڑتا ہے۔ مثال کے طور پر انٹرپرائز ، جو صارفین کی معلومات ہے۔ یہ انتہائی اہم اعداد و شمار کے اثاثے اکثر مین فریم پر رہتے ہیں۔ کسی جاپانی کار کمپنی کی مینوفیکچرنگ لائن پر جمع کردہ ، یا بادل میں جمع ، موبائل کے ذریعے جمع کردہ ، ابھرتے ہوئے نئے ذرائع کے ساتھ مین فریم اعداد و شمار کی اصلاح ، یا چیزوں کی ایپلی کیشنز کے انٹرنیٹ کو ، اپنے نئے اعداد و شمار کو اپنے میراثی اعداد و شمار کا حوالہ دے کر سمجھنا ہوگا۔ اور وہ میراثی اعداد و شمار سیٹ اکثر مین فریم پر ہوتے ہیں۔
اور اگر یہ کمپنیاں ایسا کرنے کے قابل نہیں ہیں ، مین فریم ڈیٹا میں ٹیپ نہیں کرسکتی ہیں تو پھر موقع کی کمی محسوس ہوگی۔ پھر اعداد و شمار کو بطور خدمت ، یا انٹرپرائز کے تمام اعداد و شمار کو فائدہ اٹھانا واقعتا really تنظیم میں انتہائی اہم اثاثوں میں ٹیپ نہیں ہوتا ہے۔ ٹیلی میٹری اور سیکیورٹی کے اعداد و شمار کا حصہ بھی ہے کیونکہ تمام معاملاتی اعداد و شمار مین فریم پر رہتے ہیں۔
تصور کریں کہ آپ کسی اے ٹی ایم میں جارہے ہیں ، میرے خیال میں شرکاء میں سے کسی نے بینکاری نظام کی حفاظت کے ل participants یہاں شرکاء کو ایک پیغام بھیجا ، جب آپ اپنا کارڈ سوئپ کررہے ہیں کہ مین فریم پر عالمی سطح پر ٹرانزیکشنل ڈیٹا بہت زیادہ ہے۔ اور مین فریموں سے سیکیورٹی ڈیٹا اور ٹیلی میٹری ڈیٹا کو محفوظ کرنا اور جمع کرنا اور ان کو سپلک ڈیش بورڈز یا دیگر ، اسپارک ، ایس کیو ایل کے ذریعہ دستیاب کرنا اب پہلے سے کہیں زیادہ اہم ہوجاتا ہے ، کیونکہ اعداد و شمار کی مقدار اور مختلف قسم کے اعداد و شمار ہیں۔
ہنر مند سیٹ ایک سب سے بڑا چیلنج ہے۔ کیونکہ ایک طرف آپ کے پاس تیزی سے بدلتا ہوا بڑا ڈیٹا اسٹیک ہے ، آپ نہیں جانتے کہ کون سا پروجیکٹ زندہ رہنے والا ہے ، کون سا پروجیکٹ زندہ نہیں رہنا ہے ، کیا مجھے Hive یا پگ ڈویلپر رکھنا چاہئے؟ کیا مجھے میپریڈوس یا چنگاری میں سرمایہ لگانا چاہئے؟ یا اگلی چیز ، پلٹائیں ، کسی نے کہا۔ کیا مجھے ان میں سے کسی کمپیوٹر پلیٹ فارم میں سرمایہ کاری کرنی چاہئے؟ ایک طرف ، تیزی سے بدلتے ہوئے ماحولیاتی نظام کو برقرار رکھنا ایک چیلنج ہے ، اور دوسری طرف آپ کے پاس یہ میراثی اعداد و شمار موجود ہیں۔ مہارت کے نئے سیٹ واقعی میں مماثل نہیں ہیں اور آپ کو مسئلہ ہوسکتا ہے کیونکہ وہ وسائل در حقیقت ریٹائر ہو رہے ہیں۔ ایسے افراد کے ہنر مند سیٹ کے معاملے میں ایک بہت بڑا خلیج ہے جو وہ میراثی ڈیٹا اسٹیکس کو سمجھتے ہیں اور جو ابھرتے ہوئے ٹکنالوجی اسٹیک کو سمجھتے ہیں۔
دوسرا چیلنج گورننس ہے۔ جب آپ واقعی پلیٹ فارمز میں انٹرپرائز کے تمام اعداد و شمار تک رسائی حاصل کر رہے ہیں تو ، ہمارے پاس ایسے صارفین موجود ہیں جنہوں نے یہ خدشات اٹھائے تھے کہ ، "میں نہیں چاہتا کہ میرا ڈیٹا اتر جائے۔ میں نہیں چاہتا کہ میرے اعداد و شمار کی متعدد جگہوں پر کاپی ہوجائے کیوں کہ میں زیادہ سے زیادہ کاپیاں زیادہ سے زیادہ بچنا چاہتا ہوں۔ میں وہاں وسط میں اترے بغیر آخری حد تک رسائی حاصل کرنا چاہتا ہوں۔ "اس اعداد و شمار پر حکومت کرنا ایک چیلنج بن جاتا ہے۔ اور دوسرا ٹکڑا یہ ہے کہ اگر آپ اعداد و شمار تک رسائی حاصل کررہے ہیں جو آپ کی مشکلات سے دوچار ہے ، اگر آپ کلاؤڈ میں اپنا زیادہ تر ڈیٹا اکٹھا کررہے ہیں اور میراثی اعداد و شمار تک رسائی اور حوالہ دے رہے ہیں تو ، نیٹ ورک بینڈوتھ ایک مسئلہ بن جاتا ہے ، کلسٹر پلیٹ فارم۔ ڈیٹا کا یہ بڑا اقدام اور جدید تجزیاتی پلیٹ فارم رکھنے اور انٹرپرائز کے تمام اعداد و شمار کو فائدہ اٹھانے کے سلسلے میں بہت ساری چیلنجز ہیں۔
ہم آہنگی کی پیش کش کیا ہے ، ہمیں "صرف بہترین" کہا جاتا ہے اس لئے نہیں کہ ہم صرف بہترین ہیں لیکن ہمارے گراہک مین فریم اعداد و شمار تک رسائی اور انضمام کے لئے واقعی بہترین حوالہ دیتے ہیں۔ ہم مین فریم سے تمام ڈیٹا فارمیٹس کی حمایت کرتے ہیں اور اسے ڈیٹا کے بڑے تجزیات کے لئے دستیاب کرتے ہیں۔ چاہے وہ ہیدوپ یا اسپارک یا اگلے کمپیوٹر پلیٹ فارم پر ہو۔ کیونکہ ہماری مصنوعات واقعی کمپیوٹر پلیٹ فارم کی پیچیدگیوں کو بہتر بناتی ہیں۔ آپ ، ایک ڈویلپر کی حیثیت سے ، لیپ ٹاپ پر ممکنہ طور پر ترقی پذیر ہیں ، ڈیٹا پائپ لائن پر مرکوز ہیں اور اعداد و شمار کی تیاری کیا ہیں ، اس ڈیٹا کو تجزیات کے ل created ، اگلے مرحلے میں تخلیق کرنے کے لئے اقدامات ، اور میپریڈس میں اسی اطلاق کو اپناتے ہیں یا اس کو لیتے ہیں اسپارک کے ارد گرد ایک ہی درخواست.
ہم نے اپنے صارفین کو یہ کرنے میں مدد کی کہ جب یاران دستیاب ہوجاتا ہے اور انہیں اپنی درخواستیں میپریڈس ورژن 1 سے یاران میں منتقل کرنا پڑتی ہیں۔ ہم ان کو اپاچی سپارک کے ساتھ ایسا کرنے میں مدد دے رہے ہیں۔ ہماری پروڈکٹ ، نئی ریلیز 9 سپارک کے ساتھ چل رہی ہے اور ایک متحرک اصلاح کے ساتھ بحری جہاز ہے جو مستقبل کے کمپیوٹر فریم ورک کے ل these ان ایپلی کیشنز کو بہتر بنائے گا۔
لہذا ہمارے پاس مین فریم ڈیٹا تک رسائی حاصل ہے ، چاہے وہ VSAM فائلیں ہو ، چاہے وہ DB2 ہو ، یا یہ ٹیلی میٹری ڈیٹا ، جیسے ایس ایم ایف ریکارڈز یا Log4j یا سیسلوگس کو ، جس کو سپلینک ڈیش بورڈز کے ذریعے دیکھنے کی ضرورت ہے۔ اور یہ کام کرتے ہوئے ، کیونکہ تنظیم اپنے موجودہ ڈیٹا انجینئر یا ای ٹی ایل مہارت کے سیٹوں کا فائدہ اٹھاسکتی ہے ، لہذا ترقی کا وقت کافی کم ہوجاتا ہے۔ دراصل ڈیل اور کلوڈیرہ کے ساتھ ، وہاں ایک آزاد بینچ مارک تھا جس کی سرپرستی ہو ، اور وہ بینچ مارک ترقی کے وقت پر مرکوز ہوتا تھا جب آپ ہینڈ کوڈنگ کر رہے ہیں یا Syncsort جیسے دوسرے اوزار استعمال کر رہے ہیں ، اور ترقیاتی وقت میں اس میں تقریبا 60 60 ، 70 فیصد کمی تھی۔ . ہنر کو پورا کرنا گروپوں کے درمیان ، ان ڈیٹا فائل ہوسٹس میں ، اور لوگوں کے لحاظ سے وہ ڈیٹا فائل ہوسٹ کو بھی طے کرتا ہے۔
عام طور پر بڑی ڈیٹا ٹیم ، یا ڈیٹا انگیجٹ ٹیم ، یا اس ٹیم کو جو اس ڈیٹا کو بطور سروس آرکیٹیکچر تیار کرنا ہے ، ضروری نہیں کہ مین فریم ٹیم کے ساتھ بات کریں۔ وہ بہت ساری تنظیموں میں اس تعامل کو کم سے کم کرنا چاہتے ہیں۔ اس خلا کو بند کرکے ہم آگے بڑھے ہیں۔ اور سب سے اہم حصہ واقعتا the پورے عمل کو محفوظ بنانا ہے۔ کیونکہ انٹرپرائز میں جب آپ اس طرح کے حساس اعداد و شمار سے نمٹ رہے ہیں تو بہت ساری ضروریات موجود ہیں۔
انشورنس اور بینکاری جیسی انتہائی باقاعدہ صنعتوں میں جو ہمارے صارفین پوچھتے ہیں ، انہوں نے کہا ، "آپ اس مین فریم ڈیٹا تک رسائی کی پیش کش کرتے ہیں اور یہ بہت اچھی بات ہے۔ کیا آپ مجھے یہ ای بی سی ڈی آئی سی کوڈ ریکارڈ شدہ شکل بنانے کی پیش کش کر سکتے ہیں جس کی اصل شکل میں رکھی گئی ہے تاکہ میں اپنے آڈٹ کی ضروریات کو پورا کر سکوں؟۔ لہذا ہم ہڈوپ اور اپاچی اسپرک کو مین فریم ڈیٹا کو سمجھتے ہیں۔ آپ اعداد و شمار کو اس کے اصل ریکارڈ فارمیٹ میں رکھ سکتے ہیں ، اپنے پروسیسنگ اور ڈسٹری بیوٹر کمپیوٹر پلیٹ فارم کی سطح انجام دے سکتے ہیں اور اگر آپ کو اس کو پیچھے رکھنے کی ضرورت ہے تو آپ ریکارڈ دکھا سکتے ہیں اور ریکارڈ فارمیٹ کو تبدیل نہیں کیا گیا ہے ، آپ ریگولیٹری تقاضوں کی تعمیل کرسکتے ہیں۔ .
اور بیشتر تنظیمیں ، چونکہ وہ ڈیٹا ہب یا ڈیٹا جھیل تیار کررہی ہیں ، وہ ایک ہی کلک پر بھی یہ کوشش کر رہی ہیں کہ اوریکل ڈیٹا بیس میں سیکڑوں اسکیموں سے میٹا ڈیٹا کا نقشہ نقش کرنے کے قابل ہو اوریکل ٹیبلز یا او آر سی یا پارکیٹ فائلوں کو ضروری ہو جاتا ہے۔ ہم ٹول جہاز بھیجتے ہیں اور ہم ڈیٹا کی نقشہ سازی کے ل this اس کو ایک مرحلہ تک ڈیٹا تک رسائ ، آٹو جنریٹنگ نوکریاں یا ڈیٹا موومینشن ، اور آٹو جنریٹنگ نوکریاں بنانے کے ل tools ٹولز مہیا کرتے ہیں۔
ہم نے رابطے کے حصے ، تعمیل ، گورننس اور ڈیٹا پروسیسنگ کے بارے میں بات کی۔ اور ہماری مصنوعات دونوں بنیادوں اور بادل میں دستیاب ہیں ، جس سے یہ واقعی بہت آسان ہے کیونکہ کمپنیوں کو یہ سوچنے کی ضرورت نہیں ہے کہ اگلے سال یا دو سال میں کیا ہو گا اگر میں نے مکمل طور پر ہائبرڈ کے خلاف عوامی بادل میں جانے کا فیصلہ کیا تو ماحول ، جیسے کچھ کلسٹرز بنیاد یا بادل میں چل رہے ہیں۔ اور ہماری مصنوعات دونوں ایمیزون مارکیٹ پلیس ، ای سی 2 ، لچکدار میپریڈوسیس اور ڈوکر کنٹینر پر بھی دستیاب ہیں۔
محض ایک طرح کی لپیٹ ، تاکہ ہمارے پاس سوال و جواب کے لئے کافی وقت ہو ، یہ واقعی ڈیٹا گورننس تک رسائی ، انضمام اور ان کی تعمیل کے بارے میں ہے ، اس کے باوجود یہ سب آسان بناتا ہے۔ اور یہ آسان بناتے ہوئے ، "ایک بار ڈیزائن کریں اور کہیں بھی تعینات کریں" کیونکہ ہمارے اوپن سورس کی شراکت کی وجہ سے ہماری مصنوع ہڈوپ ڈیٹا کے بہاؤ میں اور مقامی طور پر اسپارک کے ساتھ چلتی ہے ، جس سے تنظیموں کو تیزی سے بدلتے ماحولیاتی نظام سے روکا جا.۔ اور بیچ اور اسٹریمنگ دونوں کیلئے ایک ہی ڈیٹا پائپ لائن ، ایک ہی انٹرفیس ، فراہم کرنا۔
اور اس سے تنظیموں کو بعض اوقات ان فریم ورک کا اندازہ کرنے میں بھی مدد ملتی ہے ، کیونکہ آپ واقعتا applications ایپلی کیشنز بنانا چاہتے ہیں اور صرف اسپارک کے مقابلے میں میپریڈیس پر چلنا چاہتے ہیں اور خود ہی دیکھ سکتے ہیں ، ہاں ، اسپارک کا یہ وعدہ ہے اور بہترین مشین سیکھنے کے لئے تکراری الگورتھم کے کام پر پیشگی سبھی فراہم کرتا ہے اور پیش گوئی کرنے والے تجزیاتی ایپلیکیشنس اسپارک کے ساتھ کام کرتی ہیں ، کیا میں بھی اس کمپیوٹر فریم ورک پر اپنی اسٹریمنگ اور بیچ ورک بوجھ لے سکتا ہوں؟ آپ ہماری مصنوعات کا استعمال کرتے ہوئے مختلف کمپیوٹر پلیٹ فارم کی جانچ کرسکتے ہیں۔ اور متحرک اصلاح خواہ آپ اپلیچے اسپارک بمقابلہ گوگل کلاؤڈ میں ، اپنے لیپ ٹاپ پر ، اسٹینڈلیون سرور پر چل رہے ہیں ، ہمارے صارفین کے لئے واقعی ایک بہت بڑی قدر کی تجویز ہے۔ اور واقعتا truly ان کو درپیش چیلنجوں سے ہی کارفرما تھا۔
میں صرف ایک کیس اسٹڈی کا احاطہ کروں گا۔ یہ گارڈین لائف انشورنس کمپنی ہے۔ اور گارڈین کا اقدام واقعتا اپنے اعداد و شمار کے اثاثوں کو مرکزی بنانا اور اپنے مؤکلوں کے لئے اس کو دستیاب بنانا ، ڈیٹا کی تیاری کے وقت کو کم کرنا ہے اور انہوں نے کہا کہ ہر شخص ڈیٹا کی تیاری کے بارے میں بات کرتا ہے جس میں ڈیٹا پروسیسنگ کے پائپ لائن کا 80 فیصد لیا جاتا ہے اور انہوں نے کہا کہ حقیقت میں اس کے بارے میں لیا جا رہا ہے۔ ان کے لئے 75 سے 80 فیصد اور وہ اس اعداد و شمار کی تیاری ، تبدیلی کے اوقات ، تجزیاتی منصوبوں کے لئے وقت بہ وقت مارکیٹ کو کم کرنا چاہتے تھے۔ جب وہ نئے اعداد و شمار کے ذرائع کو شامل کرتے ہیں تو اس میں چستی پیدا کریں۔ اور یہ کہ ان کے تمام صارفین کے لئے مرکزی اعداد و شمار تک رسائی حاصل کریں۔
ان کا حل ، بشمول مطابقت پذیری کی مصنوعات ، ان کے پاس اب ایک ایمیزون مارکیٹ پلیس لیوالییک ڈیٹا مارکیٹ پلیس ہے جو ایک ڈیٹا جھیل کے ذریعہ سپورٹ کیا جاتا ہے ، جو بنیادی طور پر ہڈوپ اور NoSQL ڈیٹا بیس ہے۔ اور وہ ہماری مصنوعات کو ڈیٹا لیک کے تمام اعداد و شمار کے اثاثوں کو لانے کے ل use استعمال کرتے ہیں ، جس میں مین فریم پر DB2 بھی شامل ہیں ، مین فریم پر VSAM فائلیں ، اور ڈیٹا بیس کی میراثی ڈیٹا کے ذرائع کے ساتھ ساتھ نئے ڈیٹا کے ذرائع بھی شامل ہیں۔ اور اس کے نتیجے میں انہوں نے دوبارہ قابل استعمال ڈیٹا اثاثوں کو مرکز بنا دیا ہے جو قابل تلاش ، قابل رسائی اور ان کے مؤکلوں کو دستیاب ہیں۔ اور وہ واقعی نئے اعداد و شمار کے ذرائع کو شامل کرنے اور پہلے سے کہیں زیادہ تیز اور موثر اپنے مؤکلوں کی خدمت کرنے میں کامیاب ہیں۔ اور تجزیاتی اقدامات پیش گوئی کرنے والے پہلو پر بھی مزید ترقی کر رہے ہیں۔ لہذا میں توقف کروں گا اور مجھے امید ہے کہ یہ کارآمد تھا اور اگر آپ سے متعلق کسی بھی عنوان سے میرے لئے کوئی سوالات ہیں تو ، آپ کا استقبال ہے۔
ایرک کااناگ : ضرور ، اور ٹینڈے ، میں صرف ایک پھینک دوں گا۔ مجھے سامعین کے ایک ممبر کی جانب سے صرف یہ کہتے ہوئے ایک تبصرہ ملا کہ "مجھے یہ ڈیزائن 'ایک بار پسند ہے ، کہیں بھی تعینات کرنا ہے۔" "کیا آپ اس طرح کی کھدائی کر سکتے ہیں کہ یہ کس طرح سچ ہے؟ میرا مطلب ہے ، آپ نے اس قسم کی چستی کو قابل بنانے کے لئے کیا کیا ہے اور کیا کوئی ٹیکس ہے؟ جیسے جب ہم ورچوئلائزیشن کے بارے میں بات کرتے ہیں ، مثال کے طور پر ، کارکردگی پر ہمیشہ تھوڑا سا ٹیکس لگتا ہے۔ کچھ لوگ دو فیصد ، پانچ فیصد 10 فیصد کہتے ہیں۔ آپ نے ڈیزائن کو ایک بار قابل بنانے ، کہیں بھی تعینات کرنے کے ل What کیا کیا ہے - آپ اسے کیسے کرتے ہیں اور کیا اس کے ساتھ کارکردگی کے لحاظ سے کوئی ٹیکس وابستہ ہے؟
تندرü یوگورٹو: ضرور ، آپ کا شکریہ۔ نہیں ، کیوں کہ دوسرے دکانداروں میں سے کچھ کے برعکس ہم واقعی میں Hive یا سور یا کچھ اور کوڈ تیار نہیں کرتے ہیں جو ہمارے انجنوں سے نہیں بنتے ہیں۔ یہیں سے ہماری اوپن سورس کی شراکتوں نے بہت بڑا کردار ادا کیا ، کیوں کہ ہم ہڈوپ فروشوں ، کلوڈیرہ ، ہارٹن ورکس اور میپ آر کے ساتھ بہت قریب سے کام کر رہے ہیں اور ہمارے اوپن سورس شراکت کی وجہ سے ، حقیقت میں ہمارا انجن بہاؤ کے ایک حصے کے طور پر چل رہا ہے۔ ، ہڈوپ بہاؤ کے حصے کے طور پر ، چنگاری کے ایک حصے کے طور پر۔
اس کا ترجمہ کیا ہے ، ہمارے پاس یہ متحرک اصلاح ہے۔ یہ وہ چیز تھی جس کے نتیجے میں ہمارے صارفین کو کمپیوٹر فریم ورک کے ساتھ چیلنج کیا گیا تھا۔ جب وہ کچھ ایپلی کیشنز کے ساتھ پروڈکشن میں جارہے تھے تو ، وہ واپس آئے ، انہوں نے کہا ، "میں صرف اپنے ہیڈوپ کلسٹر کو مستحکم کررہا ہوں ، میپریڈوش یارین ورژن 2 ، میپریڈیوس ورژن 2 پر استحکام لے رہا ہوں ، اور لوگ بات کر رہے ہیں کہ میپریڈوس مرچکا ہے ، چنگاری ہے۔ اگلی چیز ، اور کچھ لوگ یہ کہہ رہے ہیں کہ پلڑک اگلی چیز ہوگی ، میں اس سے کیسے نمٹنے جا رہا ہوں؟
اور یہ چیلنجز واقعی ہمارے سامنے اتنے واضح ہو گئے ، ہم نے اس متحرک اصلاح کو ہم نے سرمایہ کاری کی جس کو ہم ذہین عمل درآمد سے تعبیر کرتے ہیں۔ رن ٹائم کے دوران ، جب کام ، جب اس ڈیٹا پائپ لائن کو کلسٹر کی بنیاد پر جمع کیا جاتا ہے ، چاہے یہ سپارک ہو ، چاہے یہ میپریڈوسیس ہو یا لینکس اسٹینڈ سرور ، ہم فیصلہ کرتے ہیں کہ اس کام کو کیسے چلائیں ، آبائی طور پر اپنے انجن میں ، اس کے حصے کے طور پر۔ ہڈوپ یا چنگاری ڈیٹا کا بہاؤ۔ اس میں کوئی سرے نہیں ہے کیونکہ اس متحرک اصلاح کے ذریعہ سب کچھ ہوتا ہے اور ہمارے پاس سب کچھ اس لئے بھی کیا جاتا ہے کہ ہمارے اوپن سورس کی شراکت کی وجہ سے ہمارا انجن اتنا مقامی طور پر مربوط ہے۔ کیا یہ آپ کے سوال کا جواب دیتا ہے؟
ایرک کااناگ: ہاں ، یہ اچھا ہے۔ اور میں وہاں ایک اور سوال اٹھانا چاہتا ہوں ، اور پھر ڈیز ، شاید ہم آپ کو اور رابن کو بھی کھینچ لیں۔ مجھے ابھی ہمارے ایک حاضرین کی طرف سے ایک مزاحیہ تبصرہ ملا۔ میں اس کو پڑھوں گا کیوں کہ واقعی یہ کافی افسوسناک ہے۔ وہ لکھتے ہیں ، "ایسا لگتا ہے کہ چیزوں کی تاریخ میں HOT" - حاصل کریں؟ IOT کی طرح - "یہ ہے کہ جتنا آپ واقعی پیچیدہ چیز کو 'آسان بنانے' کی کوشش کرتے ہیں ، اس سے کہیں زیادہ آسانی سے وہ کام کرنے میں آسان نظر نہیں آتا ہے ، زیادہ پھانسی رسی فراہم کی جاتی ہے۔ ڈیٹا بیس کے استفسار ، دھماکے ، ملٹی تھریڈنگ وغیرہ کے بارے میں سوچئے۔ "کیا آپ اس تناقض پر تبصرہ کرسکتے ہیں کہ وہ حوالہ دے رہا ہے؟ سادگی بمقابلہ پیچیدگی ، اور بنیادی طور پر کور کے نیچے واقعی میں کیا ہو رہا ہے؟
تندرü دہی: یقینی ہے۔ میرے خیال میں یہ ایک بہت ہی درست نقطہ ہے۔ جب آپ چیزوں کو آسان بنا رہے ہیں اور یہ اصلاحات کررہے ہیں تو ، ایک طرح سے کور کے نیچے ، کسی کو اس پیچیدگی کو لینے کی ضرورت ہے جو ہونا چاہئے ، ٹھیک ہے؟ اگر آپ کسی چیز کو مفلوج کررہے ہیں یا اگر آپ فیصلہ کررہے ہیں کہ کمپیوٹر کے فریم ورک کے حوالے سے کسی خاص کام کو کیسے چلائیں تو ، ظاہر ہے کہ اس ملازمت کا کچھ حصہ اس طرف دھکیل دیا جارہا ہے کہ آیا یہ صارف کے اختتام پر ہے ، مینو کوڈنگ ہے ، یا یہ انجن کی اصلاح پر ہے۔ اس کا ایک حصہ ہے ، صارف کے تجربے کو آسان بنانے سے انٹرپرائز میں موجود ہنر مند سیٹوں کو فائدہ اٹھانے کے قابل ہونے کے لحاظ سے بہت بڑا فائدہ ہوتا ہے۔
اور آپ اس قسم کی تضاد کو کم کرسکتے ہیں ، اس چیلنج کو کم کرسکتے ہیں ، "ہاں ، لیکن انجن میں ڈوب کے نیچے ، کور کے تحت ہونے والی ہر چیز پر میرا کنٹرول نہیں ہے ،" اگر وہ جدید ترین صارفین کے سامنے چیزوں کو بے نقاب کرتے ہوئے۔ اس طرح کا کنٹرول رکھنا چاہتے ہیں۔ خدمات کی کچھ قسم کی چیزوں میں بھی سرمایہ کاری کرکے۔ ایک ایس کیو ایل استفسار کے ساتھ ساتھ انجن چلانے کے ساتھ ساتھ ، مزید آپریشنل میٹا ڈیٹا ، زیادہ آپریشنل اعداد و شمار پیش کرنے کے قابل ہونے کی وجہ سے جو اس شرکا نے دیا تھا۔ مجھے امید ہے کہ جوابات
ایرک کااناگ: ہاں یہ اچھی بات ہے۔ Dez ، اسے لے جاؤ.
ڈیز بلین فیلڈ: میں اوپن سورس کی شراکت اور آپ کے مین فریم اور ملکیتی دنیا میں اپنے روایتی ، دیرینہ تجربے اور پھر اس میں منتقل ہونے والے سفر میں آپ کے نقوش کے بارے میں تھوڑا سا بصیرت حاصل کرنے کا خواہشمند ہوں۔ اوپن سورس میں تعاون اور یہ کیسے ہوا۔ اور دوسری چیز جس کو میں سمجھنے کے خواہاں ہوں وہ یہ ہے کہ آپ یہ دیکھ رہے ہیں کہ یہ کاروبار ، نہ صرف آئی ٹی محکموں ، بلکہ کاروبار اب ڈیٹا ہب یا ڈیٹا لیکس کے حوالے سے لے رہے ہیں جیسے کہ لوگ اب کہہ رہے ہیں اور کیا وہ اس رجحان کو دیکھ رہے ہیں۔ صرف ایک ہی ، مستحکم ڈیٹا جھیل یا چاہے ہم تقسیم شدہ ڈیٹا جھیلوں کو دیکھ رہے ہو اور لوگ ان کو اکٹھا کرنے کے ل tools ٹولز استعمال کررہے ہیں؟
تندرü دہی: یقینی ہے۔ پہلے ایک کے لئے ، یہ ایک بہت ہی دلچسپ سفر تھا ، بطور ایک پروپریٹر سافٹ ویئر کمپنی ، آئی بی ایم کے بعد پہلے افراد میں سے ایک۔ تاہم ، ایک بار پھر ، سب کچھ ہمارے انوینجلسٹ صارفین کے ساتھ شروع ہوا جو ہڈوپ کو دیکھ رہے تھے۔ ہمارے پاس کامسکوئر جیسی ڈیٹا کمپنیاں تھیں ، وہ ہڈوپ اپنانے والے پہلے لوگوں میں شامل تھے کیونکہ وہ پوری دنیا میں ڈیجیٹل ڈیٹا اکٹھا کررہے تھے اور جب تک وہ دس ملین ڈالر کے ڈیٹا گودام باکس میں سرمایہ کاری نہیں کرتے تب تک 90 دن کا ڈیٹا نہیں رکھتے تھے۔ ماحول۔ وہ ہیدوپ کی طرف دیکھنے لگے۔ اس کے ساتھ ہی ہم ہیدوپ کی طرف بھی دیکھنے لگے۔
اور جب ہم نے فیصلہ کیا اور یہ تسلیم کیا کہ ہڈوپ واقعی میں مستقبل کا ڈیٹا پلیٹ فارم بننے والا ہے تو ، ہمیں یہ بھی سمجھ میں آگیا کہ ہم اس میں کوئی کامیاب کھیل نہیں کر پائیں گے ، جب تک کہ ہم اس میں کامیاب نہ ہوں۔ ماحولیاتی نظام کا ایک حصہ تھے۔ اور ہم ہڈوپ فروشوں کے ساتھ ، کلوڈیرہ ، ہارٹن ورکس ، میپ آر وغیرہ کے ساتھ بہت قریب سے کام کر رہے تھے۔ ہم واقعتا them ان کے ساتھ بات چیت کرنے لگے کیوں کہ شراکت داری اس اہم قدر کی تصدیق کرنے کے لئے اہم ہوجاتی ہے جو کوئی وینڈر لے سکتا ہے اور اس بات کو بھی یقینی بناتا ہے کہ ہم مشترکہ طور پر انٹرپرائز میں جاسکیں۔ اور کچھ اور معنی خیز پیش کرتے ہیں۔ اس کے ل relation بہت زیادہ رشتہ سازی کی ضرورت تھی کیونکہ ہم اپاچی اوپن سورس پروجیکٹس کے بارے میں نہیں جانتے تھے ، البتہ مجھے یہ ہڈوپ فروشوں کی طرف سے بڑی حمایت حاصل تھی۔
ہم نے مل کر کام کرنا شروع کیا اور حب کی طرف دیکھنا شروع کیا کہ ہم خلا میں اپنے پرائیپیٹر سافٹ ویئر کے بغیر بھی کیسے قیمت لے سکتے ہیں۔ یہ اہم تھا۔ یہ صرف کچھ APIs ڈالنے کے بارے میں نہیں ہے جس پر آپ کی مصنوعات چل سکتی ہے ، یہ کہنے کے قابل ہو گا کہ میں اس میں سرمایہ کاری کروں گا کیونکہ مجھے یقین ہے کہ ہیدوپ مستقبل کا پلیٹ فارم بننے والا ہے ، لہذا ان ذرائع میں سرمایہ کاری کرکے جو ہم بنانا چاہتے ہیں یقین ہے کہ یہ پختہ ہو گا اور انٹرپرائز کے لئے تیار ہو جائے گا۔ ہم دراصل استعمال کے کچھ معاملات کو اہل بناسکتے ہیں جو ہماری شراکت سے پہلے دستیاب نہیں تھے۔ اس سے پورے ماحولیاتی نظام کو فائدہ ہوگا اور ہم ان شراکت کو بہت قریب سے ترقی کر سکتے ہیں۔
اس میں کافی وقت لگا۔ ہم نے 2011 ، اور 2013 ، جنوری 21 میں حصہ ڈالنا شروع کیا - مجھے وہ تاریخ یاد آرہی ہے کیونکہ اس تاریخ میں ہماری سب سے بڑی شراکت کا ارتکاب ہوا تھا جس کا مطلب یہ تھا کہ اب ہم اپنی مصنوعات کو عام طور پر اسی جگہ سے دستیاب کرسکتے ہیں - ان تعلقات کو ترقی دینے میں کافی وقت لگا۔ ، قدر ظاہر کریں ، شراکت دار دکانداروں کے ساتھ اور اوپن سورس کمیونٹی میں وابستگان کے ساتھ ڈیزائن شراکت دار بن جاتے ہیں۔ لیکن یہ بہت لطف تھا۔ ہمارے لئے اس ماحولیاتی نظام کا حصہ بننے اور ایک عمدہ شراکت داری تیار کرنا ایک کمپنی کی حیثیت سے بہت فائدہ مند تھا۔
ڈیٹا ہب / ڈیٹا جھیل کے بارے میں دوسرا سوال ، میرے خیال میں جب ہم زیادہ تر معاملات میں اس ڈیٹا کو بطور سروس عمل درآمد کے طور پر دیکھتے ہیں تو ، ہاں ، یہ کلسٹرز ، جسمانی طور پر سنگل یا ایک سے زیادہ کلسٹرز ہوسکتے ہیں ، لیکن یہ واحد جگہ بننے سے زیادہ تصوراتی ہے۔ تمام اعداد و شمار کے لئے. کیونکہ کچھ تنظیموں میں ہم کلسٹر کی بڑی تعداد تعیناتیوں کو دیکھتے ہیں ، تاہم ان کے پاس بھی کلسٹر ہوتے ہیں ، مثال کے طور پر ، عوامی بادل میں کیونکہ آن لائن حصوں سے جمع کیا گیا کچھ ڈیٹا واقعی بادل میں رکھا جاتا ہے۔ یہ ایک واحد ڈیٹا پائپ لائن رکھنے کے قابل ہے جس کی مدد سے آپ ان دونوں کو اصل میں فائدہ اٹھاسکتے ہیں ، اور ان کو سنگل ڈیٹا حب ، سنگل ڈیٹا جھیل کے بطور استعمال کرسکتے ہیں۔ میرے خیال میں ، صرف جسمانی جگہ ضروری نہیں ہے ، بلکہ کلسٹرز ، جغرافیے اور ممکنہ بنیاد اور بادل کے اس پار ڈیٹا ہب اور ڈیٹا جھیل کا ہونا نہایت ہی اہم مسئلہ ثابت ہوگا۔ خاص کر آگے بڑھنا۔ اس سال ہم نے زیادہ سے زیادہ بادل تعینات دیکھنا شروع کیا۔ یہ حیرت انگیز ہے. اس سال کے پہلے نصف حصے میں ہم نے بادل کی بہتری تعیناتی دیکھی ہے۔
ایرک کااناگ: ٹھیک ہے ، ٹھنڈا ہے۔ اور رابن ، کیا آپ کے پاس کوئی سوال ہے؟ میں جانتا ہوں کہ ہمارے پاس ابھی کچھ منٹ باقی ہیں۔
رابن بلور: ٹھیک ہے ، میں اس سے ایک سوال پوچھ سکتا ہوں۔ سب سے پہلے جو واقعہ مجھ کو ہوا وہ یہ ہے کہ کافکا کے بارے میں بہت جوش و خروش پایا جاتا ہے اور مجھے کافکا کے بارے میں آپ کی رائے میں دلچسپی ہے اور آپ لوگوں کو کافکا کے اس طریقے سے کس طرح ضم کرتے ہیں؟
تندرü دہی: یقینی ہے۔ ہاں ، کافکا کافی مشہور ہورہا ہے۔ ہمارے صارفین میں ہم دیکھتے ہیں کہ ڈیٹا ٹرانسپورٹ پرت کی طرح ہونا اور دیکھا کہ اعداد و شمار ایک بس ہے۔ مثال کے طور پر ، ہمارے صارفین میں سے ایک اصل میں اس طرح کے کھپت والے اعداد و شمار کا استعمال کررہا تھا جسے ہزاروں آن لائن صارفین کی طرح اس کافکا میں دھکیل دیا گیا تھا اور اس کی درجہ بندی کرنے اور اس میں آگے بڑھنے کے قابل تھا۔
ایک بار پھر ، کافکا اس ڈیٹا کے مختلف صارفین کے لئے ایک ڈیٹا بس ہے۔ کچھ اعلی درجے کے صارفین کے مقابلہ میں ترقی یافتہ صارفین کی درجہ بندی کریں اور اس ڈیٹا پائپ لائن میں آگے بڑھنے کے لئے کچھ مختلف کریں۔ ہم کافکا کے ساتھ کس طرح ضم ہوجاتے ہیں یہ بنیادی طور پر ہے ، ہماری مصنوع ڈی ایم ایکس ایچ ایک قابل اعتماد صارف ، کافکا کے لئے ایک انتہائی موثر ، قابل اعتماد صارف بن جاتی ہے۔ یہ ڈیٹا کو پڑھ سکتا ہے اور یہ ہمارے لئے کسی دوسرے ڈیٹا سورس سے ڈیٹا پڑھنے سے مختلف نہیں ہے۔ ہم صارفین کو وقت کی ضرورت کے مطابق یا ونڈے پر قابو پانے کی اہلیت دیتے ہیں جس میں ان کی ضرورت ہوتی ہے یا ان پیغامات کی تعداد کے بارے میں جو وہ کافکا بس سے کھا رہے ہیں۔ اور پھر ہم اس اعداد و شمار کی افزودگی بھی کر سکتے ہیں کیونکہ یہ ہماری مصنوع سے گزر رہا ہے اور کافکا میں واپس چلا گیا۔ ہم نے اس کا تجربہ کیا ہے۔ ہم نے اسے کسٹمر سائٹ پر بینچ مارک کیا ہے۔ کنفلوئنٹ کے ذریعہ بھی تصدیق شدہ۔ ہم متفق لوگوں کے ساتھ مل کر کام کرتے ہیں اور یہ بہت اعلی کارکردگی کا مظاہرہ کرنے اور استعمال میں آسان ہے۔ ایک بار پھر ، APIs تبدیل ہوجاتی ہیں لیکن آپ کو پریشان ہونے کی ضرورت نہیں ہے کیونکہ پروڈکٹ واقعتا علاج کرتی ہے جو صرف ایک اور اعداد و شمار کے ذریعہ ، ایک محرومی اعداد و شمار کے ذریعہ ہے۔ حقیقت میں ، ہمارے پروڈکٹ اور کافکا کے ساتھ کام کرنے میں کافی تفریح ہے۔
رابن بلور: ٹھیک ہے میرے پاس ایک اور سوال ہے جو صرف ایک عام کاروباری سوال کی طرح ہے لیکن میں ایک لمبے عرصے سے ہم آہنگی کو جانتا ہوں اور آپ کو ہمیشہ شہرت حاصل ہے اور ای ٹی ایل اور مین فریم دنیا کے لئے غیر معمولی تیز رفتار سافٹ ویئر فراہم کیا ہے۔ کیا یہ معاملہ ہے کہ اب آپ کا زیادہ تر کاروبار ہڈوپ کو منتقل کیا جارہا ہے؟ کیا یہ معاملہ ہے کہ ایک طرح سے یا کسی اور طرح سے آپ نے اپنے فنی کاروبار کو مین فریم دنیا سے بالکل ڈرامائی انداز میں پھیلادیا ہے؟
ٹینڈر یوگورٹو: ہماری مین فریم مصنوعات اب بھی عالمی سطح پر 50 فیصد مین فریموں کو چلارہی ہیں۔ لہذا ہمارے پاس ایک بہت مضبوط مین فریم پروڈکٹ لائن ہے اس کے علاوہ ہم بڑے اعداد و شمار اور ہڈوپ اختتام پر کیا کر رہے ہیں۔ اور ہم ابھی بھی زیادہ تر آئی ٹی کی آسانیاں یا اصلاح کے منصوبوں میں ہیں کیوں کہ اس کا ایک اختتام یہ ہے کہ آپ اپنے مین فریم ڈیٹا کو بڑے اعداد و شمار میں ملٹیکس پلیٹ فارم میں ٹیپ کرنے اور انٹرپرائز کے تمام اعداد و شمار کو فائدہ اٹھانے کے قابل بننا چاہتے ہیں ، تاہم ، بہت سارے حساس ٹرانزیکشنل ورک بوجھ بھی موجود ہیں۔ یہ اب بھی مین فریم پر چلتا رہتا ہے اور ہم ان صارفین کو واقعتا more زیادہ موثر بنانے کے لئے زائپ انجن میں چلانے کے طریقوں کی پیش کش کرتے ہیں تاکہ وہ زیادہ سے زیادہ پروسیسنگ سائیکل اور ایم آئی پی استعمال نہ کریں ، ان کی قیمت کو موثر بنائیں۔
ہم مین فریم مصنوعات میں سرمایہ کاری کرتے رہتے ہیں اور اصل میں اس جگہ پر کھیلتے ہیں جہاں لوگ مین فریم بڑے آئرن سے بڑے اعداد و شمار تک جاتے ہیں اور ان پلیٹ فارمز میں بھی پروڈکٹ لائن کو پھیلا دیتے ہیں۔ لہذا ہم لازمی طور پر پورے کاروبار کو ایک رخ میں منتقل نہیں کرتے ہیں ، ہم دونوں طرف بہت ہی کامیاب کاروبار جاری رکھے ہوئے ہیں۔ اور حصول ہمارے لئے بھی ایک بڑی توجہ ہے۔ چونکہ اس ڈیٹا مینجمنٹ اور ڈیٹا پروسیسنگ کی جگہ بڑے ڈیٹا پلیٹ فارم کے لئے تیار ہوتی ہے ہم بھی بہت سارے تعریفی کارنامے لینے کے لئے پرعزم ہیں۔
رابن بلور: اچھا میرا اندازہ ہے کہ میں آپ سے پوچھ نہیں سکتا کہ وہ کیا ہیں کیونکہ آپ کو مجھے بتانے کی اجازت نہیں ہوگی۔ میں اس میں دلچسپی رکھتا ہوں کہ آیا آپ نے اصل میں مین فریم پر ہیڈوپ یا اسپارک کے بہت سارے عمل درآمد دیکھے ہیں یا یہ ایک بہت ہی نایاب چیز ہے۔
تندرü یوگورتو: ہم نے کوئی نہیں دیکھا۔ اس کے بارے میں اور بھی سوال ہے۔ میرے خیال میں مین ڈھانچہ پر ہڈوپ بنیادی ڈھانچے کی طرح کی وجہ سے زیادہ معنی نہیں رکھتا تھا۔ تاہم مین فریم پر چنگاری کافی معنی خیز ہے اور مشین لرننگ اور پیشن گوئی تجزیاتی تجزیہ کرنے اور ان میں سے کچھ ایپلی کیشنز مین فریم اعداد و شمار کے ساتھ واقعی رکھنے کے قابل ہونے کی وجہ سے یہ واقعی بہت معنی خیز ہے۔ ہم نے ابھی تک کسی کو ایسا کرتے نہیں دیکھا ہے ، تاہم یہ واقعی استعمال معاملہ ہے جو ان چیزوں کو چلا رہا ہے۔ اگر بطور کمپنی آپ کے استعمال کا معاملہ اس مین فریم اعداد و شمار کو زیادہ لاتا ہے اور بگ ڈیٹا پلیٹ فارم میں باقی ڈیٹا سیٹوں کے ساتھ مل جاتا ہے تو ، یہ ایک کہانی ہے۔ اس کیلئے بڑے ڈیٹا ملٹیکس پلیٹ فارم سے مین فریم ڈیٹا تک رسائ کی ضرورت ہے کیونکہ آپ کو اپنے اعداد و شمار کے اوپن سسٹم سے سیٹ لانے اور مین فریم میں واپس بلانے کا امکان نہیں ہے۔ تاہم ، اگر آپ کے پاس کچھ مین فریم اعداد و شمار موجود ہیں جو آپ ڈیٹا ایکسپلوریشن کی دریافت کے لئے صرف تھوڑا سا تلاش کرنا چاہتے ہیں ، کچھ اعلی درجے کی AI اور جدید تجزیات کا اطلاق کریں ، تو پھر اس طرح کے مین فریم پر چلنے کے لئے اسپارک اچھ wayا راستہ ہوسکتا ہے۔
ایرک کااناگ: اور یہاں سامعین سے ایک اور سوال ، اصل میں دو اور۔ میں آپ کو ٹیگ ٹیم کا سوال دوں گا ، پھر ہم سمیٹ لیں گے۔ ایک شرکا پوچھ رہا ہے ، "کیا آئی بی ایم آپ کے اوپن سورس کی شراکت کو اپنے عوامی کلاؤڈ ماحولیاتی نظام پر مربوط کررہا ہے ، دوسرے الفاظ میں ، بلیکمکس؟" اور ایک اور شریک نے واقعی ایک اچھی بات کی ، نوٹس کیا کہ Syncsort ان لوگوں کے لئے بڑا لوہا زندہ رکھنے کے لئے بہت اچھا ہے یہ پہلے ہی موجود ہے ، لیکن اگر کمپنیاں مسیحی کہتی ہے اس کے حق میں نئے مین فریموں کو ترک کردیتی ہیں تو ، ہر چیز کو بادل بنادیں ، کہ اس کا امکان کم ہوجائے گا ، لیکن نوٹ کریں کہ آپ لوگ آپریٹنگ سسٹم کو فی سیکنڈ میں ایک گیگا بائٹ تک منتقل کرکے اعداد و شمار میں منتقل کرنے میں بہت اچھے ہیں۔ کیا آپ اپنی بنیادی طاقت کے بارے میں طرح طرح کی بات کرسکتے ہیں ، جیسا کہ اس نے بتایا تھا ، اور آیا آئی بی ایم آپ کے سامان کو بلیکمکس میں ضم کررہی ہے یا نہیں؟
ٹینڈر یوگورٹیو: آئی بی ایم کے ساتھ ، ہم پہلے ہی آئی بی ایم کے ساتھ شراکت دار ہیں اور ہم نے ان کی ڈیٹا کلاؤڈ سروسز کو پیش کرتے ہوئے پیش کش کی ہے۔ ہماری اوپن سورس کی شراکتیں ہر اس شخص کے ل open کھلی ہیں جو ان سے فائدہ اٹھانا چاہتا ہے۔ کچھ مین فریم کنیکٹیویٹی اسپارک پیکجوں میں بھی دستیاب ہے ، لہذا صرف آئی بی ایم نہیں۔ کوئی بھی ان کا فائدہ اٹھا سکتا ہے۔ بلیوکس میں ہم نے ابھی تک خاص طور پر کچھ نہیں کیا ہے۔ اور کیا آپ کو دوسرا سوال دہرانے میں کوئی اعتراض ہے؟
ایرک کااناگ: ہاں ، دوسرا سوال آپ کے فعالیت کے بنیادی شعبے کے بارے میں تھا جو واقعتا E ETL کی رکاوٹوں کو سنبھال رہا تھا اور ظاہر ہے کہ یہ وہ چیز ہے جو آپ لوگ ابھی بھی مین فریم کے طور پر کرتے جارہے ہیں ، ٹھیک ہے ، نظریاتی طور پر دور ہی رہنا ہے ، حالانکہ ڈیز کا نقطہ اب بھی ایک طرح سے وہاں لرزنے اور گھومنے والا ہے۔ لیکن شرکاء نے صرف نوٹ کیا کہ Syncsort آپریٹنگ سسٹم کو نظرانداز کرکے اور ایک سیکنڈ میں گیگا بائٹ تک ڈیٹا منتقل کرنے میں بہت اچھا ہے۔ کیا آپ صرف اس پر تبصرہ کرسکتے ہیں؟
تندرü یوگورتو: ہاں ، واقعی وسائل کی پوری کارکردگی ہماری طاقت رہی ہے اور اسکیل ایبلٹی اور کارکردگی ہماری طاقت رہی ہے۔ ہم سمجھوتہ نہیں کر رہے ہیں ، آسان بنانے کے بہت سے معنی ہیں ، ہم ان سے سمجھوتہ نہیں کرتے ہیں۔ جب لوگوں نے 2014 میں ہڈوپ کے بارے میں بات کرنا شروع کی ، مثال کے طور پر ، بہت ساری تنظیمیں ابتدا میں کارکردگی کی طرف نہیں دیکھ رہی تھیں۔ وہ کہہ رہے تھے ، "اوہ ، اگر کچھ ہوتا ہے تو میں ایک اور دو نوڈس کو شامل کرسکتا ہوں اور میں ٹھیک ہو جاؤں گا ، کارکردگی میری ضرورت نہیں ہے۔"
جب ہم بہترین کارکردگی کا مظاہرہ کرنے کے بارے میں بات کر رہے تھے کیونکہ ہم پہلے ہی آبائی طور پر چل رہے تھے ، ہمارے پاس ابتدائی ہچکی بھی نہیں تھی جو ہیو کے پاس متعدد میپریڈس نوکریوں اور اوور ہیڈ کے ساتھ شروع ہوئی تھی۔ لوگ ہمیں بتا رہے تھے ، "اوہ ، یہ میری پریشانی نہیں ہے ، اس وقت اس کی فکر نہ کریں۔"
جب ہم 2015 میں آئے تھے کہ زمین کی تزئین کی حالت بدل گئی ہے کیونکہ ہمارے کچھ صارفین نے پہلے ہی اپنے اسٹوریج سے تجاوز کر لیا ہے جو ان کے پروڈکشن کلسٹروں میں تھا۔ ان کے ل them یہ دیکھنے میں بہت ضروری ہوگیا کہ مطابقت پذیری کیا پیش کر سکتی ہے۔ اگر آپ کسی ڈیٹا بیس یا مین فریم سے کچھ ڈیٹا لے رہے ہیں اور کلسٹرز میں پارکیٹ فارمیٹ میں تحریر کررہے ہیں ، چاہے آپ لینڈ کریں اور اسٹیج ہو اور کوئی اور تبدیلی کریں یا صرف انفلائٹ ٹرانسفارمیشن اور لینڈڈ ٹارگٹ فائل فارمیٹ کریں ، فرق پڑا کیونکہ آپ اس سے بچا رہے ہیں اسٹوریج ، آپ نیٹ ورک بینڈوتھ سے بچا رہے ہیں ، آپ کلسٹر پر کام کے بوجھ سے بچا رہے ہیں کیونکہ آپ اضافی ملازمتیں نہیں چلا رہے ہیں۔ ایسا لگتا ہے کہ وہ طاقتیں جو ہم بہت شعور رکھنے کے معاملے میں کھیلتے ہیں ، ہم اپنی جلد کے نیچے موجود وسائل کی کارکردگی کو محسوس کرتے ہیں۔
اسی طرح ہم اسے بیان کرتے ہیں۔ یہ ہمارے لئے اہم ہے۔ ہم اسے قدر کی نظر سے نہیں لیتے۔ ہم نے اسے کبھی بھی حرج نہیں سمجھا لہذا ہم اپاچی اسپارک یا اگلے کمپیوٹر فریم ورک میں اس بیعانہ کے ساتھ مستحکم رہیں گے۔ یہ ہماری توجہ کا مرکز بنے گا۔ اور اعداد و شمار کی نقل و حرکت کے ٹکڑے اور اعداد و شمار تک رسائی کے ٹکڑے کے لحاظ سے ، یہ یقینی طور پر ہماری طاقت میں سے ایک ہے اور ہم ہڈوپ یا اسپارک کے تناظر میں مین فریموں پر ڈی بی 2 یا وی ایس اے ایم ڈیٹا تک رسائی حاصل کر رہے ہیں۔
ایرک کااناگ: ٹھیک ہے ، ویب کاسٹ کو ختم کرنے کا یہ ایک بہت اچھا طریقہ ہے ، لوگوں۔ آپ کے وقت اور توجہ کے لئے بہت بہت شکریہ. بریفنگ روم میں آنے اور راؤنڈ میں قدم رکھنے کے لü ، جیسا کہ وہ کہتے ہیں ، ٹینڈر اور سنسکورٹ ، آپ کا شکریہ۔ سامعین کی طرف سے بہت سارے زبردست سوالات۔ لوگ ، یہ وہاں سے ہمیشہ چلتا ہوا ماحول ہے۔ ہم اس ہاٹ ٹیک کو آرکائیو کریں گے جیسا کہ ہم باقی سب کے ساتھ کرتے ہیں۔ آپ ہمیں اندرونی تجزیہ ڈاٹ کام اور ٹیکوپیڈیا ڈاٹ کام پر تلاش کرسکتے ہیں۔ عام طور پر یہ تقریبا ایک دن میں اوپر جاتا ہے. اور اس کے ساتھ ہی ، ہم آپ سے الوداع بولیں گے۔ بہت بہت شکریہ. ہم جلد ہی آپ سے بات کریں گے۔ خیال رکھنا. خدا حافظ.
