تجویز کی طاقت: ڈیٹا کیٹلاگ تجزیہ کاروں کو کس طرح طاقت دیتا ہے

ٹیکوپیڈیا اسٹاف کے ذریعہ ، 22 جون ، 2016

ٹیکا وے : میزبان ربیکا جوزوایاک نے ڈیز بلیچفیلڈ ، رابن بلور اور ڈیوڈ کرفورڈ کے ساتھ ڈیٹا کیٹلاگ کے فوائد پر تبادلہ خیال کیا۔

ویڈیو دیکھنے کے ل You آپ کو اس پروگرام کے لئے اندراج کرنا ہوگا۔ ویڈیو دیکھنے کے لئے رجسٹر کریں۔

ربیکا جوزویق: خواتین و حضرات ، ہیلو اور سنہ 2016 کی ہاٹ ٹکنالوجی میں خوش آمدید۔ آج ہمیں مل گیا ہے ، "مشورے کی طاقت: ایک ڈیٹا کیٹلاگ تجزیہ کاروں کو کس طرح تقویت بخشتا ہے۔" آج کاوناگ ، جب وہ دنیا کا سفر کررہا ہے ، تو ہمارے ساتھ شامل ہونے کا شکریہ۔ یہ سال گرم ہے ، ٹیکساس میں جہاں میں ہوں صرف گرم ہی نہیں ، بلکہ ہر جگہ گرمی ہے۔ ہر طرح کی نئی ٹیکنالوجیز کا دھماکہ سامنے آرہا ہے۔ ہمارے پاس آئی او ٹی ، اسٹریمنگ ڈیٹا ، کلاؤڈ اپنائے جانے ، ہڈوپ برقرار رہتا ہے اور اپنایا جاتا ہے۔ ہمارے پاس آٹومیشن ، مشین لرننگ ہے ، اور یہ سبھی چیزیں یقینا. اعداد و شمار کی طرف سے اشارہ کی جاتی ہیں۔ اور کاروباری ادارے دن بدن زیادہ سے زیادہ ڈیٹا بنتے جارہے ہیں۔ اور ظاہر ہے ، اس کا نکتہ علم ، اور دریافت کا باعث ہے اور ، آپ جانتے ہیں ، بہتر فیصلے کرتے ہیں۔ لیکن اعداد و شمار سے واقعی زیادہ سے زیادہ قیمت حاصل کرنے کے ل it's ، اس تک پہنچنا آسان ہو گیا ہے۔ اگر آپ اسے انٹرپرائز کے اندر بند یا دفن ، یا کچھ لوگوں کے دماغ میں رکھتے ہیں تو ، یہ مجموعی طور پر انٹرپرائز کے لئے زیادہ اچھا کام نہیں کرے گا۔

اور میں لائبریریوں کے ڈیٹا کی فہرست سازی اور اس کے بارے میں سوچنے کے بارے میں سوچ رہا تھا ، جہاں آپ کو کچھ معلوم کرنے کی ضرورت ہو تو آپ وہاں گئے تھے ، اگر آپ کو کسی موضوع پر تحقیق کرنے کی ضرورت ہے یا کچھ معلومات تلاش کرنے کی ضرورت ہے تو آپ لائبریری میں چلے گئے ، اور ظاہر ہے کہ آپ کارڈ کیٹلاگ ، یا وہاں کام کرنے والی کربیبی خاتون کے پاس گئے تھے۔ لیکن یہ بھی ایک تفریحی مقام تھا کہ اگر آپ محض دیکھنا چاہتے ہوں ، اور یقینی طور پر آپ کو کوئی صاف چیز دریافت ہوسکتی ہے تو ، آپ کو کچھ ایسی دلچسپ حقائق مل سکتی ہیں جن کا آپ کو علم نہیں تھا ، لیکن اگر واقعتا آپ کو کچھ تلاش کرنے کی ضرورت ہو۔ ، اور آپ کو معلوم تھا کہ آپ کیا ڈھونڈ رہے ہیں ، آپ کو کارڈ کیٹلاگ کی ضرورت ہے ، اور ظاہر ہے کہ انٹرپرائز کے برابر ایک ڈیٹا کیٹلاگ ہے ، جو ہمارے صارفین کو افزودہ ، دریافت ، شیئر ، استعمال اور حقیقت میں مدد کرنے کے لئے تمام اعداد و شمار پر روشنی ڈال سکتا ہے۔ لوگوں کو تیز اور آسان ڈیٹا مل جاتا ہے۔

لہذا آج ہمارے پاس ڈیج بلن فیلڈ ، ہمارے اپنے ڈیٹا سائنس دان ، اور ہمارے پاس ڈاکٹر روبن بلور ، ہمارے اپنے چیف تجزیہ کار ہیں ، ہمارے پاس اییلیشن سے ڈیوڈ کرافورڈ ہے ، جو اپنی کمپنی کے ڈیٹا کیٹلوگ کی کہانی کے بارے میں بات کرنے جا رہے ہیں۔ ہم Dez کے ساتھ قیادت کرنے جا رہے ہیں. ڈیز ، میں آپ کو گیند دے رہا ہوں اور منزل آپ کی ہے۔

ڈیز بلوچفیلڈ: آج مجھے رکھنے کے لئے آپ کا شکریہ۔ یہ وہ معاملہ ہے جس میں مجھے بہت دلچسپی ہے ، کیوں کہ تقریبا every ہر تنظیم جس کو میں اپنے روز مرہ کے کاموں میں دیکھتا ہوں ، مجھے بالکل وہی مسئلہ ملتا ہے جس کے بارے میں ہم نے پری شو بینٹر میں مختصر طور پر بات کی تھی ، اور وہ یہ ہے کہ زیادہ تر تنظیمیں جو کچھ سالوں سے زیادہ عرصے سے کاروبار میں ہیں ان کے پاس تنظیم کے ارد گرد ڈیٹا جمع ہوچکا ہے ، مختلف شکلیں ، اور حقیقت میں میرے پاس ایسے کلائنٹ ہیں جو ڈیٹا سیٹ رکھتے ہیں جو لوٹس نوٹس ، ڈیٹا بیس پر واپس جاتے ہیں جو اب بھی کچھ میں چل رہے ہیں۔ جب ان کا چھدم مداخلت کرتا ہے ، اور وہ ، سبھی اس چیلنج کا مقابلہ کر رہے ہیں کہ حقیقت میں ان کا ڈیٹا کہاں ہے ، اور اس تک کیسے رسائی حاصل کی جائے ، اس تک رسائی کس کو فراہم کی جائے ، ان تک رسائی کب فراہم کی جائے ، اور اور کیسے کیٹلاگ ، اور اس مقام پر کیسے پہنچنا ہے جہاں ہر کوئی جاسکے: A) آگاہ ہوں کہ وہاں کیا ہے اور اس میں کیا ہے ، اور B) ، اس تک کیسے رسائی حاصل کی جاسکے اور اسے استعمال کیا جاسکے۔ اور یقینا of سب سے بڑا چیلنج یہ ہے کہ اسے ڈھونڈنا ، دوسرا بڑا چیلنج یہ جاننا ہے کہ وہاں کیا ہے اور اس تک کیسے رسائی حاصل کی جائے۔

میں بخوبی جان سکتا ہوں کہ میرے پاس درجنوں ڈیٹا بیس ہیں ، لیکن میں اصل میں نہیں جانتا ہوں کہ وہاں کیا ہے یا کس طرح کا پتہ لگانا ہے ، اور اسی طرح جیسے اب ہم پری شو شو کے اعداد و شمار میں دریافت کر رہے ہیں ، دفتر کے گرد چکر لگانے اور سوالات کرنے ، اور مکعب دیواروں کے آر پار چکر لگانے اور آزمانے اور جاننے کے لئے ، اکثر میرا تجربہ یہ ہے کہ ، آپ کو یہ بھی معلوم ہوسکتا ہے کہ آپ سامنے والی میز ، استقبالیہ میں گھوم رہے ہیں ، اور پوچھ رہے ہیں کہ کون جانتا ہے کہ کون آپ سے بات کرنے جارہے ہو اکثر ، یہ ہمیشہ آئی ٹی لوک نہیں ہوتا ہے کیونکہ وہ اعداد و شمار کے سیٹ سے بے خبر رہتے ہیں کیونکہ کسی نے ابھی اس کو بنایا ہے ، اور یہ ایک آسان کے طور پر کچھ آسان ہوسکتا ہے - اکثر ہمیں کسی قسم کا ایسا پروجیکٹ مل جاتا ہے جو آئی ٹی ماحول میں کھڑا ہوتا ہے اور پروجیکٹ مینیجر نے تمام چیزوں کی ایک اسپریڈشیٹ استعمال کی ہے ، اور اس میں اثاثوں اور سیاق و سباق اور ناموں کے آس پاس قیمتی معلومات کی کچھ بڑی مقدار حاصل ہوچکی ہے ، اور جب تک کہ آپ اس پروجیکٹ کو نہیں جانتے اور آپ اس شخص کو نہیں جانتے ، آپ کو وہ معلومات نہیں مل سکتی۔ یہ ابھی دستیاب نہیں ہے ، اور آپ کو اس اصل فائل کو پکڑنا ہوگا۔

یہاں ایک جملہ ہے جو اعداد و شمار کے حوالے سے پابندی لگا ہوا ہے اور میں لازمی طور پر اس سے اتفاق نہیں کرتا ، لیکن مجھے لگتا ہے کہ یہ ایک چھوٹی سی چھوٹی چیز ہے اور یہ ہے کہ لوگوں کی ایک خاص مقدار یہ سمجھتی ہے کہ ڈیٹا نیا تیل ہے ، اور میں ہوں یقین ہے کہ ہم اس کے بعد بھی ، کسی نہ کسی پہلو میں اس کا احاطہ کریں گے۔ لیکن میں نے جو دیکھا ہے ، یقینا. اس تبدیلی کا حصہ ہونے کی وجہ یہ ہے کہ جو کاروباری تنظیمیں اپنے اعداد و شمار کی قدر کرنا سیکھ چکی ہیں وہ اپنے حریفوں کے مقابلے میں اہم فائدہ اٹھاچکی ہیں۔

آئی بی ایم کا ایک دلچسپ مقالہ تھا ، تقریبا five پانچ یا چھ سال پہلے ، اور انہوں نے یہاں آسٹریلیا میں تقریبا 4 4000 کمپنیوں کا سروے کیا ، اور انہوں نے تمام معلومات ، کارکردگی کا تمام اعداد و شمار ، فنانس کے تمام اعداد و شمار لئے اور اسے ایک ابلتے ہوئے برتن میں ڈال دیا اور پھر اسے آسٹریلیائی اسکول آف اکنامکس میں بھیجا گیا ، اور انہوں نے حقیقت میں یہاں ایک عام رجحان شروع کیا ، اور وہ یہ تھا کہ جو کمپنیوں نے مستقل طور پر ٹیکنالوجی کا فائدہ اٹھایا ہے وہ اپنے ساتھیوں اور مقابلہ جات کے مقابلہ میں اس طرح کا مسابقت حاصل کرتا تھا کہ ان کے حریف تقریبا کبھی بھی گرفت میں نہیں آتے ہیں ، اور مجھے لگتا ہے کہ اب اس معاملے میں بہت زیادہ معاملات ہیں جو ہم نے دیکھا ہے کہ لوگ ڈیجیٹل ٹرانسفارمیشن کہتے ہیں جہاں ایسی تنظیمیں جو واضح طور پر یہ معلوم کرلی ہیں کہ اپنے پاس کردہ ڈیٹا کو کیسے تلاش کریں ، اس ڈیٹا کو دستیاب بنانے کے ل some ، اور اسے کچھ بہت ہی آسان استعمال میں قابل دستیاب بنا دیں تنظیم کو فیشن ، بغیر یہ ہمیشہ یہ جانتے ہوئے کہ تنظیم کو اس کی ضرورت کیوں ہو ، اور حریفوں پر نمایاں فائدہ حاصل کرنا۔

میرے پاس اس سلائیڈ پر کچھ جوڑے ملے ہیں ، جو آپ دیکھ سکتے ہیں۔ میری ایک بات یہ ہے کہ ، تقریبا view ہر صنعت کے شعبے میں ، بڑے پیمانے پر خلل ، میرے خیال میں ، اعداد و شمار کے ذریعہ چلایا جارہا ہے ، اور اگر موجودہ رجحانات ابھی باقی ہیں تو ، میرا نظریہ یہ ہے کہ ہم صرف واقعی کم ہوچکے ہیں۔ شروع کیا کیونکہ جب طویل عرصے سے برانڈز آخر میں جاگتے ہیں اور اس کا مطلب کیا ہے اور کھیل میں داخل ہوتا ہے تو ، وہ تھوک میں کھیل میں داخل ہونے جا رہے ہیں۔ جب اعداد و شمار کے پہاڑ رکھنے والے بڑے خوردہ فروش ڈیٹا پر کچھ تاریخی تجزیے کا اطلاق کرنا شروع کردیتے ہیں ، اگر وہ جانتے بھی ہیں کہ یہ موجود ہے تو پھر آن لائن کھلاڑیوں میں سے کچھ کو تھوڑا سا ویک اپ کال ملنے والی ہے۔

لیکن ان میں سے بہت سارے برانڈز کے ساتھ ، میرا مطلب ہے کہ ہمیں اوبر مل گیا ہے جو دنیا کی سب سے بڑی ٹیکسی کمپنی ہے۔ ان کے پاس کوئی ٹیکسی نہیں ہے ، لہذا یہ کون سی چیز ہے جو انہیں جادو بناتی ہے ، ان کا ڈیٹا کیا ہے؟ سب سے بڑی رہائش فراہم کرنے والا ایئربن بی ، ہمیں دنیا کی سب سے بڑی فون کمپنی وی چیٹ ملی ہے ، لیکن ان کے پاس اصل ڈھانچہ نہیں ہے ، اور نہ ہی ہینڈ سیٹس ، نہ فون لائنز۔ سیارے کا سب سے بڑا خوردہ فروش علی بابا ، لیکن وہ انوینٹری میں سے کسی کے پاس نہیں ہے۔ فیس بک ، لفظ میں میڈیا کی سب سے بڑی کمپنی ہے۔ میرے خیال میں آخری گنتی میں ان کے پاس اب 1.4 بلین متحرک ڈیٹا استعمال کنندہ موجود ہیں ، جو ذہن میں حیرت زدہ کرنے والا نمبر ہے۔ یہ کہیں بھی قریب نہیں ہے - میرے خیال میں کسی نے دعوی کیا تھا کہ سیارے کا ایک چوتھائی در حقیقت وہاں ہر روز موجود ہوتا ہے ، اور پھر بھی یہاں ایک ایسا مواد فراہم کرنے والا موجود ہے جو در حقیقت مواد تیار نہیں کرتا ہے ، ان کے ذریعہ پیش کردہ سارے ڈیٹا تخلیق نہیں کرتے ہیں ، یہ تخلیق کیا جاتا ہے ان کے صارفین کے ذریعہ ، اور ہم سب اس ماڈل کو جانتے ہیں۔

سوسائٹی ایک ، جس کے بارے میں آپ نے سنا یا نہیں سنا ہوگا ، یہ ایک مقامی برانڈ ہے ، مجھے لگتا ہے کہ ایک دو ممالک میں یہ ایک ایسا بینک ہے جو حقیقت میں پیر سے ہم مرتبہ قرض دیتا ہے ، لہذا ، دوسرے لفظوں میں ، اس میں پیسہ نہیں ہے۔ بس یہ ہے کہ وہ لین دین کا انتظام کرتا ہے اور ڈیٹا اس کے نیچے بیٹھ جاتا ہے۔ نیٹ فلکس ، ہم سب اس سے بہت واقف ہیں۔ یہاں ایک دلچسپ ون لائنر ہے۔ جب نیٹ فلکس قانونی طور پر آسٹریلیا میں استعمال ہونے کے قابل تھا ، جب اس کا باضابطہ طور پر اعلان کیا گیا تھا ، آپ کو اس تک پہنچنے کے لئے وی پی این کا استعمال نہیں کرنا پڑتا تھا ، بہت سارے لوگوں کا رجحان ہے - اگر آپ اپنے مقامی علاقے میں اس تک رسائی حاصل نہیں کرسکتے ہیں۔ - جب نیٹ فکس کو آسٹریلیا میں لانچ کیا گیا تھا ، تو اس نے ہمارے انٹرنیٹ روابط پر بین الاقوامی بینڈوتھ میں 40 فیصد اضافہ کیا تھا ، لہذا اس نے آسٹریلیا میں راتوں رات انٹرنیٹ کے استعمال کو تقریبا double دوگنا کردیا ، صرف ایک درخواست کے ذریعہ ، ایک کلاؤڈ میزبان ایپلی کیشن جو اعداد و شمار کے ساتھ کھیل کے سوا کچھ نہیں کرتی۔ یہ صرف دماغی حیرت انگیز اعدادوشمار ہے۔

اور ظاہر ہے ، ہم سب ایپل اور گوگل سے واقف ہیں ، لیکن یہ سیارے پر سافٹ ویئر کا سب سے بڑا کاروبار ہے ، اس کے باوجود وہ در حقیقت ایپس نہیں لکھتے ہیں۔ ان سب تنظیموں کے ساتھ مستقل مزاجی کیا ہے؟ ٹھیک ہے ، یہ ڈیٹا ہے ، اور وہ وہاں نہیں پہنچ پائے کیونکہ وہ نہیں جانتے تھے کہ ان کا ڈیٹا کہاں ہے ، اور وہ نہیں جانتے ہیں کہ اس کو کس طرح مرتب کرنا ہے۔

اب ہم جو چیز ڈھونڈ رہے ہیں وہ یہ ہے کہ یہاں پوری نئی اثاثہ کلاس ہے جسے ڈیٹا کہا جاتا ہے ، اور کمپنیاں اس میں جاگ رہی ہیں۔ لیکن ان کے پاس ہمیشہ ٹولز اور انفارمیشن اور اس وجہ سے نہیں ہوتا ہے کہ وہ اس ڈیٹا کا نقشہ بنائیں ، تاکہ اس سارے کوائف کی فہرست بنائی جاسکے اور اسے دستیاب کیا جاسکے ، لیکن ہمیں معلوم ہوا ہے کہ تقریبا companies جسمانی اثاثوں والی کمپنیوں نے مارکیٹ میں اعلی قیمت حاصل کرلی ہے۔ اس نئے ڈیٹا اثاثہ کلاس کے ذریعہ وقت ریکارڈ کریں۔ جیسا کہ میں نے کہا ہے ، کچھ پرانے کھلاڑی اب اس پر جاگ رہے ہیں اور یقینی طور پر اسے باہر لا رہے ہیں۔

میں تھوڑا سا سفر پر لوک لینے کا ایک بہت بڑا پرستار ہوں ، لہذا اٹھارہ سیکڑوں میں ، اٹھارہ سینکڑوں کے آخر میں ، اور آپ امریکی مارکیٹ میں اس سے زیادہ واقف ہوں گے ، معلوم ہوا کہ مردم شماری چلانی ہے۔ ہر سال یا اس سے ، میرے خیال میں وہ اس مرحلے پر ہر دس سال بعد انہیں چلاتے ہیں ، لیکن اگر آپ ہر سال مردم شماری کرتے ہیں تو ، اعداد و شمار کا تجزیہ کرنے میں آپ کو آٹھ یا نو سال لگ سکتے ہیں۔ معلوم ہوا کہ اعداد و شمار کا سیٹ کاغذوں میں جگہوں پر خانوں میں رہ گیا تھا ، اور تقریبا. کوئی اسے نہیں مل سکا تھا۔ انھوں نے صرف ان خبروں کو آگے بڑھایا ، لیکن اصل اعداد و شمار کو حاصل کرنا بہت مشکل تھا ، ہمارے پاس دوسری دنیا کے ایک اہم لمحے کے ساتھ اسی طرح کی صورتحال ہے ، دوسری جنگ عظیم کے ساتھ ، 1940 کی دہائی کے آس پاس ، اور یہ بات بلیچلے پارک بمبے نے BOMBE کی ہجوم کی تھی ، اور یہ ایک بہت بڑا عدد تجزیہ کار ٹول تھا جو چھوٹے اعداد و شمار کے سیٹوں سے گزرتا تھا اور اس میں سگنل تلاش کرتا تھا اور اینجما کے ذریعے کریک کوڈ میں مدد کے لئے استعمال ہوتا تھا۔

یہ چیز ایک بار پھر بنیادی طور پر تیار کردہ ایک آلہ تھی ، جو کیٹلاگ کے لئے زیادہ نہیں تھی ، بلکہ ڈیٹا کو ٹیگ اور نقشہ بنانا تھا ، اور اس کو ممکن بناتا تھا کہ نمونوں کو تلاش کیا جا سکے اور اسے ڈیٹا سیٹ کے اندر تلاش کیا جاسکے ، اس معاملے میں کوڈز کو توڑنا ، چابیاں اور فقرے تلاش کرنا اور تلاش کرنا ان کو باقاعدگی سے ڈیٹا سیٹس میں ، اور اسی طرح ہم اعداد و شمار میں چیزیں ڈھونڈنے اور ڈیٹا کو کیٹلاگ کرنے کی راہ پر گامزن ہیں۔

اور پھر یہ چیزیں سامنے آئیں ، مشینوں کی یہ انتہائی کم لاگت والی ریک ، صرف شیلف مشینیں۔ اور ہم نے کچھ بہت ہی دلچسپ چیزیں کیں ، اور ایک کام جو ہم نے ان کے ساتھ کیا وہ یہ ہے کہ ہم نے انتہائی کم لاگت والے کلسٹرز بنائے ہیں جو سیارے کی اشاریہ سازی شروع کرسکتے ہیں ، اور بہت ہی مشہور یہ بڑے برانڈز جو آئے اور چلے گئے ہیں ، لیکن شاید گوگل کا سب سے عام گھر ہے۔ ایسا برانڈ جس کے بارے میں ہم سب نے سنا ہے - یہ ایک اصل فعل بن گیا ہے ، اور آپ جانتے ہیں کہ جب آپ کا برانڈ فعل ہوجاتا ہے تو آپ کامیاب ہوجاتے ہیں۔ لیکن گوگل نے ہمیں جو کچھ سکھایا ، اس کو سمجھے بغیر ، ممکنہ طور پر کاروباری دنیا میں ، وہ یہ ہے کہ وہ پورے سیارے کو ایک خاص سطح پر انڈیکس کرنے کے قابل تھے ، اور اس اعداد و شمار کی فہرست بناتے ہیں جو پوری دنیا میں تھا ، اور اسے بہت آسان میں دستیاب کروایا ، ایک چھوٹے سے چھوٹے لائن فارمولے میں آسان شکل ، ایک ایسا ویب صفحہ جس میں تقریبا کچھ بھی نہیں ہے ، اور آپ اپنی سوال میں ٹائپ کرتے ہیں ، وہ جاتا ہے اور پتا چلتا ہے کیونکہ وہ پہلے ہی سیارے کو رینگ چکے تھے ، اس کی ترتیب دیتے ہیں اور اسے آسانی سے دستیاب کرتے ہیں۔

اور جو کچھ ہم نے دیکھا وہ یہ تھا ، "اچھی طرح سے رکئے ، ہم یہ تنظیموں میں نہیں کر رہے ہیں - ایسا کیوں ہے؟ ایسا کیوں ہے کہ ہمارے پاس ایک ایسی تنظیم ہے جو پورے سیارے کا نقشہ بناسکتی ہے اور اسے انڈیکس کرسکتی ہے ، اسے کرال اور انڈیکس کرسکتی ہے اور اسے دستیاب کراسکتی ہے ، ہم اسے تلاش کرسکتے ہیں ، اور پھر جانے والی چیز پر کلک کرکے اسے ڈھونڈ سکتے ہیں ، ہم کیسے آئے؟ اندرونی طور پر یہ کام نہیں کیا ہے؟ "تو اب پوری دنیا میں مشینوں کی بہت سی چھوٹی ریک موجود ہیں جو انٹرانیٹ کے لئے ایسا کرتی ہیں اور چیزیں ڈھونڈتی ہیں ، لیکن وہ اب بھی روایتی ویب سے آگے جانے کے خیال پر واقعی گرفت میں آرہے ہیں۔ صفحہ ، یا فائل سرور۔

ڈیٹا کیٹلوگ کی اس اگلی نسل کو اب متعدد طریقوں سے داخل کرنے کے بجائے ، اس کے بعد کے نوٹوں اور واٹر کولر مکالمات کے ذریعہ ڈیٹا تک رسائی دریافت کرنا واقعی ڈیٹا کی دریافت اور کیٹلاگ کا کوئی مناسب طریقہ نہیں ہے ، اور حقیقت میں ، مجھے یہ کبھی نہیں لگتا ہے واقعی تھا. ہم اس سارے چیلنج کو اب صرف ان لوگوں کے سامنے نہیں لے سکتے ہیں جو صرف نوٹ پاس کرتے ہیں ، اور نوٹس پوسٹ کرتے ہیں ، اور اس کے بارے میں چیٹنگ کرتے ہیں۔ ہم اب اس علاقے سے باہر ہیں جہاں اعداد و شمار کی فہرست سازی کے لئے اگلی نسل کا یہ طریقہ سامنے آیا ہے اور چلا گیا ہے۔ ہمیں اس کے آس پاس اپنے بازو حاصل کرنے ہیں۔ اگر یہ ایک آسان مسئلہ تھا تو ہم پہلے ہی اسے بہت سارے طریقوں سے حل کرچکے ہوں گے ، لیکن میرا خیال ہے کہ یہ کوئی آسان مسئلہ نہیں ہے ، صرف اعداد و شمار کو انڈیکس کرنا اور کال کرنا اس کا صرف ایک حصہ ہے ، یہ جانتے ہوئے کہ ڈیٹا میں کیا ہے اور جو چیز ہم دریافت کرتے ہیں اس کے گرد میٹا ڈیٹا بنانا اور پھر اسے آسان ، قابل استعمال شکل میں ، خاص طور پر سیلف سروس اور تجزیات کے لئے دستیاب کرنا۔ یہ اب بھی ایک مسئلہ حل ہونے میں ہے ، لیکن پانچ سالوں میں پہیلی کے بہت سے حصے ٹھیک اور صحیح معنوں میں حل اور دستیاب ہیں۔

جیسا کہ ہم جانتے ہیں ، انسان اعداد و شمار کو زمرہ بندی کرنا ناکامی کا ایک نسخہ ہے کیوں کہ انسانی غلطی ان سب سے بڑے خوابوں میں سے ایک ہے جن کا ہم ڈیٹا پروسیسنگ میں نمٹاتے ہیں ، اور میں اس موضوع کے بارے میں باقاعدگی سے بات کرتا ہوں جہاں میرے خیال میں ، انسان کاغذی شکلوں کو پُر کرنا شاید سب سے بڑا ڈراؤنا خواب ہے۔ ہم بڑے اعداد و شمار اور تجزیہ کاروں سے نمٹنے کے ل، ، ان چیزوں کو مستقل طور پر طے کرنے کے ل. ، یہاں تک کہ تاریخوں اور کھیتوں جیسی آسان چیزوں پر بھی ، لوگ اسے غلط شکل میں رکھتے ہیں۔

لیکن جیسا کہ میں نے کہا ہے ، ہم ہر روز انٹرنیٹ سرچ انجنوں کو دنیا کا انڈیکس دیکھتے ہیں ، لہذا اب ہم اسے اس خیال تک پہنچا رہے ہیں کہ یہ دریافت کے عمل میں بزنس ڈیٹا سیٹ پر کیا جاسکتا ہے ، اور اب ٹولز اور سسٹم موجود ہیں آج کے دن آپ سیکھنے جارہے ہیں تو آسانی سے دستیاب ہیں۔ تو چال ، واقعی میری نظر میں ، صحیح ٹولز کا انتخاب کررہی ہے ، اس نوکری کے لئے بہترین ٹولز۔ اور زیادہ مناسب طور پر ، اس راہ کا آغاز کرنے میں مدد کے ل it ، اس کا صحیح حصہ تلاش کرنا۔ اور مجھے یقین ہے کہ ہم آج اس کے بارے میں سننے جا رہے ہیں ، لیکن اس سے پہلے کہ میں اپنے کالج ، رابن بلور کے پاس جاؤں اور اس موضوع پر اس کی بات سنوں گا۔ رابن ، کیا میں آپ کے پاس جاسکتا ہوں؟

رابن بلور: ہاں ، یقینی طور پر آپ کر سکتے ہیں۔ آئیے دیکھتے ہیں کہ کیا یہ کام کرتا ہے ، اوہ ہاں یہ کام کرتا ہے۔ ٹھیک ہے ، میں واقعی طور پر ڈیز سے مختلف سمت سے آرہا ہوں ، لیکن میں اسی جگہ پر ختم ہوجاؤں گا۔ یہ ڈیٹا سے منسلک ہونے کے بارے میں ہے ، لہذا میں نے سوچا کہ میں اعداد و شمار سے منسلک ہونے کی حقیقت سے گزرتا ہوں ، واقعتا point ایک موقع پر۔

ایک حقیقت ہے کہ اعداد و شمار اس سے کہیں زیادہ بکھرے ہوئے ہیں۔ اعداد و شمار کا حجم غیر معمولی طور پر بڑھ رہا ہے ، لیکن حقیقت میں ، ڈیٹا کے مختلف ذرائع بھی ناقابل یقین شرح سے بڑھ رہے ہیں ، اور اسی وجہ سے ہر وقت اعداد و شمار تیزی سے بکھرتے جارہے ہیں۔ لیکن خاص طور پر تجزیاتی ایپلی کیشنز کی وجہ سے - لیکن یہ صرف ایپلی کیشنز نہیں ہیں - ہمیں اس سارے ڈیٹا سے رابطہ قائم کرنے کی ایک اچھی وجہ ملی ہے ، لہذا ہم ایک مشکل جگہ پر پھنس چکے ہیں ، ہم بکھرے ہوئے اعداد و شمار کی دنیا میں پھنس چکے ہیں۔ اور اعداد و شمار میں موقع موجود ہے جیسے ڈیز اسے نیا تیل کہہ رہا تھا۔

ڈیٹا کے بارے میں ، ٹھیک ہے ، یہ اسپننگ ڈسک پر رہتا تھا ، یا تو فائل سسٹم یا ڈیٹا بیس میں۔ اب یہ بہت زیادہ متنوع ماحول میں رہتا ہے ، یہ فائل سسٹم میں رہتا ہے لیکن یہ آج کل ہڈوپ واقعات میں بھی رہتا ہے ، یا یہاں تک کہ اسپارک مثالوں میں بھی۔ یہ ڈیٹا بیس کی متعدد نوع میں رہتا ہے۔ ابھی اتنا عرصہ پہلے ، ہم نے کچھ متعلقہ ڈیٹا بیس کو معیاری شکل دی ، اچھی طرح سے آپ جانتے ہو کہ پچھلے پانچ سالوں میں کھڑکی سے باہر نکل گیا ہے ، کیوں کہ دستاویزات کے ڈیٹا بیس کی ضرورت ہے ، اور گراف ڈیٹا بیس کی ضرورت ہے ، لہذا آپ جانتے ہو ، کھیل ہی کھیل میں ہے بدل گیا۔ لہذا یہ کتائی ڈسک پر رہتا تھا ، لیکن اب یہ ایس ایس ڈی پر رہتا ہے۔ ایس ایس ڈی کی تازہ ترین رقم - یقینی طور پر جدید ترین ایس ایس ڈی یونٹ سیمسنگ - بیس گیگا بائٹ سے نکل رہا ہے ، جو بہت بڑی ہے۔ اب یہ میموری میں رہتا ہے ، اس معنی میں کہ اعداد و شمار کی اصل کاپی میموری میں ہوسکتی ہے ، بجائے ڈسک پر ، ہم اس طرح کے نظام کی تعمیر کے لئے استعمال نہیں کرتے تھے۔ اب ہم کرتے ہیں۔ اور یہ بادل میں رہتا ہے۔ اس کا مطلب یہ ہے کہ بادل میں ، ان میں سے کسی ایک میں بھی رہ سکتا ہے ، آپ کو لازمی طور پر معلوم نہیں ہوگا کہ وہ بادل میں کہاں ہے ، آپ کو صرف اس کا پتہ ہوگا۔

محض نقطہ نظر کو آگے بڑھانے کے لئے ، ہڈوپ اب تک توسیع پذیر ڈیٹا اسٹور کی حیثیت سے ناکام ہوچکا ہے۔ ہم نے امید کی تھی کہ یہ ایک قابل توسیع پیمانے پر ڈیٹا اسٹور بن جائے گا ، اور یہ ہر چیز کے لئے صرف ایک فائل سسٹم بن جائے گا ، اور یہ ہوتا ہے کہ - بنیادی طور پر ، آسمان میں قوس قزح نمودار ہوں گے ، اور ایک تنگاوالا ناچ لیں گے ، اور اس میں سے کچھ نہیں ہوا۔ جس کا مطلب ہے کہ ہم ڈیٹا ٹرانسپورٹ کی پریشانی کا شکار ہوجاتے ہیں ، اور بعض اوقات ڈیٹا ٹرانسپورٹ کی ضرورت نہیں ہوتی ہے ، لیکن یہ ایک مشکل بھی ہے۔ آج کل ڈیٹا میں واقعی کشش ثقل کا حامل ہے ، ایک بار جب آپ کثیر ٹیرابائٹ ڈیٹا میں چلے جاتے ہیں ، اسے اٹھا کر پھینک دیتے ہیں تو ، آپ کے نیٹ ورک پر مختلف قسم کے وجوہات ظاہر ہونے یا مختلف مقامات پر ظاہر ہونے کے سبب ہیں۔ اگر آپ ڈیٹا کو آس پاس منتقل کرنا چاہتے ہیں تو ، وقت کا عنصر ایک عنصر ہے۔ تقریبا ہمیشہ ہی ہوتا ہے ، آج کل ، آپ کو ایک چیز سے ایک جگہ ، دوسری جگہ جانے کے ل data کتنا وقت ملتا ہے اس کی کچھ حدود ہوتی ہیں۔ وہاں وہی ہوتا تھا جو ہم بیچ ونڈوز کے طور پر سوچتے تھے ، جب مشین بیکار تھی ، اور اس سے کوئی فرق نہیں پڑتا تھا کہ آپ کے پاس کتنا ڈیٹا ہے ، آپ اسے صرف پھیر سکتے ہیں اور یہ سب کام ہوجائے گا۔ ٹھیک ہے ، وہ اب ختم ہوچکا ہے ، ہم بہت زیادہ حقیقت پسندانہ دنیا میں جی رہے ہیں۔ لہذا وقت ایک عنصر ہے۔ جیسے ہی آپ ڈیٹا کو چاروں طرف منتقل کرنا چاہتے ہیں ، لہذا اگر ڈیٹا میں کشش ثقل ہے تو ، آپ شاید اسے منتقل نہیں کرسکتے ہیں۔

ڈیٹا مینجمنٹ اس لحاظ سے ایک عنصر ہے کہ آپ نے حقیقت میں اس سارے ڈیٹا کو سنبھالنا ہے ، آپ کو یہ مفت میں نہیں ملتا ہے ، اور اس کام کو انجام دینے کے لئے اعداد و شمار کو درحقیقت حاصل کرنے کے لئے نقل کی ضرورت ہوسکتی ہے ، کیونکہ ہوسکتا ہے کہ آپ نے جہاں کہیں بھی رکھا ہو۔ ہوسکتا ہے کہ اعداد و شمار کی معمول کی کارروائی کرنے کے ل sufficient اس میں کافی وسائل نہ ہوں۔ لہذا اعداد و شمار کی نقل تیار ہوجاتی ہے ، اور آپ کے تصور سے کہیں زیادہ اعداد و شمار کو نقل کیا جاتا ہے۔ میرے خیال میں کسی نے بہت عرصہ پہلے مجھے بتایا تھا کہ اعداد و شمار کا اوسط ٹکڑا کم از کم ڈھائی بار نقل کیا جاتا ہے۔ ESBs یا Kafka اعداد و شمار کے بہاؤ کے لئے ایک آپشن پیش کرتے ہیں ، لیکن آج کل یہ فن تعمیر کا مطالبہ کرتا ہے۔ آج کل آپ کو واقعی ایک یا کسی اور طرح سے سوچنے کی ضرورت ہے ، اس کے بارے میں اعداد و شمار کو پھینکنے کا اصل مطلب کیا ہے۔ لہذا ، جہاں تک اعداد و شمار تک رسائی حاصل کرنا عام طور پر ترجیح دی جاتی ہے ، جب تک کہ ، واقعی جب آپ اعداد و شمار کے ل go جاتے ہیں تو آپ اپنی مطلوبہ کارکردگی حاصل کرسکتے ہیں اور یہ سیاق و سباق پر منحصر ہوتا ہے۔ تو بہرحال یہ ایک مشکل صورتحال ہے۔ ڈیٹا کے سوالات کے معاملے میں ، ہم ایس کیو ایل کے معاملے میں سوچنے کے قابل ہوتے تھے ، اب ہم واقعی سامنے آئے ہیں ، آپ جانتے ہو ، سوالات کی مختلف شکلیں ہیں ، ایس کیو ایل ہاں ، لیکن ملحقہ ، گراف سوالات بھی ، اسپارک اس کی صرف ایک مثال ہے گراف کرنا ، کیوں کہ ہمیں ٹیکسٹ سرچ کرنے کی بھی ضرورت ہے ، جیسا کہ ہم نے پہلے سے کہیں زیادہ کیا تھا ، ریسجیکس قسم کی تلاشیں بھی ، جو پیٹرن کے لئے واقعی پیچیدہ تلاشیاں ہیں ، اور حقیقی پیٹرن میں ملاپ ، یہ سب چیزیں دراصل دببھی ہیں۔ اور یہ سب مفید ہیں کیونکہ وہ آپ کو وہ ملتا ہے جس کی آپ ڈھونڈ رہے ہیں ، یا وہ آپ کو مل سکتے ہیں جس کی آپ ڈھونڈ رہے ہیں۔

سوالات آج کل ایک سے زیادہ ڈیٹا پر محیط ہیں ، لہذا یہ ہمیشہ ایسا نہیں کرتا تھا ، اور اگر آپ ایسا کرتے ہیں تو اکثر کارکردگی حیران کن ہوتی ہے۔ لہذا ، اس کا انحصار حالات پر ہے ، لیکن لوگ توقع کرتے ہیں کہ متعدد اعداد و شمار کے ذرائع سے اعداد و شمار کے بارے میں استفسار کریں گے ، لہذا ایک یا کسی دوسرے کا ڈیٹا فیڈریشن زیادہ سے زیادہ حالیہ ہوتا جارہا ہے۔ ڈیٹا ورچوئلائزیشن ، جو کارکردگی کے لحاظ سے کرنے کا ایک مختلف طریقہ ہے ، یہ بھی بہت عام ہے۔ ڈیٹا کے سوالات دراصل ایک عمل کا ایک حصہ ہوتا ہے ، پورے عمل کا نہیں۔ یہ صرف اس بات کی نشاندہی کرنے کے قابل ہے کہ اگر آپ واقعی تجزیاتی کارکردگی کو دیکھ رہے ہیں تو ، اصل تجزیات اعداد و شمار جمع کرنے سے بہت زیادہ وقت لے سکتے ہیں ، کیونکہ اس کا انحصار حالات پر ہے ، لیکن اگر آپ کچھ کرنا چاہتے ہیں تو ڈیٹا کے سوالات ایک مطلق ضرورت ہیں۔ متعدد اعداد و شمار کے ذرائع پر تجزیات کی قسم ، اور یہ صرف ، آپ کو واقعتا actually ایسی صلاحیتوں کی ضرورت ہے جو پھیلی ہوئی ہو۔

تو کیٹلاگوں کے بارے میں۔ کیٹلاگ ایک وجہ کے لئے موجود ہیں ، کم از کم ہم یہ کہہ رہے ہیں کہ ، آپ جانتے ہو ، یہ ہے ، ہمارے پاس ڈائریکٹریز موجود ہیں ، اور ہمارے پاس ڈیٹا بیس میں اسکیما موجود ہیں ، اور ہمارے پاس ہر کیٹلاگ موجود ہے اور جہاں بھی آپ جائیں گے آپ کو ایک جگہ مل جائے گی اور پھر آپ واقعتا will ان شاء اللہ معلوم کریں کہ کسی نہ کسی طرح کی کیٹلاگ موجود ہے ، اور متحدہ عالمی کیٹلاگ ایسا واضح طور پر اچھا خیال ہے۔ لیکن بہت کم کمپنیوں کے پاس ایسی چیز ہوتی ہے۔ مجھے یاد ہے ، سال دو ہزار میں - سال دو ہزار کی گھبراہٹ - مجھے یاد ہے کہ کمیونسٹ یہاں تک کہ ان کے پاس کتنے پھانسی کے قابل تھے ، اس سے کوئی فرق نہیں پڑتا ہے ، ان کے پاس کتنے مختلف ڈیٹا اسٹورز تھے ، اور شاید اب معاملہ ہے۔ ، آپ جانتے ہیں کہ بیشتر کمپنیاں عالمی سطح پر فعال طور پر نہیں جانتی ہیں کہ ان کے پاس کیا ڈیٹا ہے۔ لیکن یہ ظاہر ہے کہ واقعی میں عالمی کیٹلاگ کا ہونا ضروری ہے ، یا اعداد و شمار کے ذرائع اور ایپلی کیشنز کی مسلسل ترقی کی وجہ سے کیا ہورہا ہے اس کی عالمی تصویر رکھنی ضروری ہے ، اور یہ خاص طور پر تجزیات کے لئے ضروری ہے ، کیونکہ آپ بھی ایک طرح سے ، اور یہاں دوسرے مسائل جیسے نسب اور اعداد و شمار کے ساتھ مسائل ہیں ، اور سیکیورٹی کے لئے ضروری ہے ، ڈیٹا گورننس کے بہت سارے پہلوؤں ، اگر آپ واقعتا نہیں جانتے کہ آپ کو کیا ڈیٹا ملا ہے ، خیال کہ آپ حکومت کرنے جارہے ہیں یہ محض مضحکہ خیز ہے۔ تو ، اس میں ، تمام اعداد و شمار کو کسی طرح سے کیٹلوگ کیا جاتا ہے ، یہ صرف ایک حقیقت ہے۔ سوال یہ ہے کہ کیا کیٹلاگ مربوط ہے ، اور در حقیقت آپ اس کے ساتھ کیا کرسکتے ہیں۔ تب میں واپس ربیکا کے پاس جاؤں گا۔

ربیکا جوزویق: ٹھیک ہے ، شکریہ رابن اگلے اگلے ، ہم ڈیوڈ کرفورڈ کو اییلیشن سے مل چکے ہیں ، ڈیوڈ میں آگے جا کر آپ کو گیند آپ کے پاس بھیجنے والا ہوں ، اور آپ اسے لے جاسکتے ہیں۔

ڈیوڈ کرفورڈ: بہت بہت شکریہ۔ میں واقعتا تم لوگوں کی اس شو میں میرے ساتھ ہونے کی تعریف کرتا ہوں۔ مجھے لگتا ہے کہ میں یہ شروع کرنے جا رہا ہوں ، لہذا میں سمجھتا ہوں کہ یہاں میرا کردار ، اس نظریہ میں سے کچھ لینا ہے اور دیکھنا ہے کہ حقیقت میں اس کا اطلاق کس طرح ہو رہا ہے ، اور اس کے نتائج جو ہم اصلی صارفین کو چلانے کے قابل ہیں اور آپ دیکھ سکتے ہیں۔ سلائیڈ پر کچھ ، میں اس کے بارے میں بات کرنا چاہتا ہوں کہ ہم تجزیہ کار میں ممکنہ بہتری کے کیا نتائج دیکھ سکیں گے۔ لہذا بحث کو تحریک دینے کے ل we ، ہم اس کے بارے میں بات کرنے جارہے ہیں کہ وہ وہاں کیسے پہنچے۔ لہذا میں خوش قسمت ہوں کہ بہت سارے واقعی ہوشیار افراد ، ان صارفین کے ساتھ بہت قریب سے کام کروں ، اور میں صرف کچھ لوگوں کی نشاندہی کرنا چاہتا ہوں جو حقیقت میں پیمائش کرنے میں کامیاب رہے ہیں ، اور اس بارے میں بات کرنا ہے کہ ڈیٹا کیٹلاگ سے ان کے تجزیہ کار پر کیا اثر پڑا ہے۔ ورک فلو اور محض مختصر طور پر محاذ پر رہنے کے ل I ، میں سوچتا ہوں کہ ان چیزوں میں سے ایک جو ہم دیکھتے ہیں ، ڈیٹا کیٹلاگ کی آیات کے ساتھ ، پچھلے ثالثی حل کی آراء اور ایک ایسا طریقہ جس سے تعلقات واقعتا thinks اس حل کے بارے میں سوچتے ہیں جو ہم مل کر پیش کرتے ہیں ، یہ ہے تجزیہ کاروں سے اور پیچھے کام کریں۔ کہنے کے لئے ، آئیے تجزیہ کاروں کی پیداوری کو قابل بنانے کے بارے میں یہ بنائیں۔ جیسا کہ صرف تعمیل کے خلاف ، یا محض انوینٹری رکھنے کے برخلاف ، ہم ایک ایسا آلہ تیار کررہے ہیں جو تجزیہ کاروں کو زیادہ کارآمد بناتا ہے۔

چنانچہ ، جب میں مالیاتی خدمات کی کمپنی اسکوائر میں ایک ڈیٹا سائنس دان سے بات کرتا ہوں تو ، وہاں ایک لڑکا ، نک تھا ، جو ہمیں اس کے بارے میں بتا رہا تھا کہ ، رپورٹ شروع کرنے کے لئے صحیح اعداد و شمار کو ڈھونڈنے میں اسے کئی گھنٹے لگتے تھے ، اب وہ کرسکتا ہے مارکیٹ شیئر پر تلاش کا استعمال کرتے ہوئے سیکنڈ کے معاملے میں ، ہم نے ان کے سی ٹی او سے بات کی جس نے اس کے تجزیہ کاروں کو کھینچ لیا جو اسکوائر استعمال کررہے تھے ، مجھے معاف کریں ، اییلیشن کا استعمال کررہے تھے ، یہ جاننے کے لئے کہ ان کے کیا فوائد ہیں ، اور انہوں نے 50 کی اطلاع دی۔ پیداواری صلاحیت میں اضافے ، اور یہ کہ ، دنیا کے اعلی خوردہ فروشوں میں سے ایک ، ای بے ، انہیں ایک ہزار سے زیادہ افراد ملے ہیں جو مستقل بنیادوں پر ایس کیو ایل تجزیہ کر رہے ہیں ، اور میں وہاں ڈیب کے ساتھ بہت قریب سے کام کر رہا ہوں ، جو پروجیکٹ ہے۔ ان کی ڈیٹا ٹولس ٹیم میں منیجر ، اور انہوں نے پایا کہ جب کوئیرز ایلیشن کو اپناتے ہیں ، ایک کیٹلاگ اپناتے ہیں ، تو وہ ڈیٹا بیس کے خلاف نئی سوالات لکھنے کی رفتار کو دگنا دیکھ رہے ہیں۔

لہذا یہ حقیقی نتائج ہیں ، یہ وہ لوگ ہیں جو در حقیقت اپنی تنظیم میں کیٹلاگ کا اطلاق کرتے ہیں ، اور میں آپ کو جو کچھ بھی ترتیب دینے میں لیتے ہیں اس کے ذریعہ لے جانا چاہتا ہوں۔ کسی کمپنی میں کیٹلاگ کس طرح قائم ہوتا ہے ، اور شاید سب سے اہم بات یہ کہنی ہے کہ اس میں سے بہت کچھ خود بخود ہوجاتا ہے ، لہذا ڈز نے نظام کے بارے میں بات کی ، سسٹم کے بارے میں سیکھتے ہوئے ، اور یہی بات جدید ڈیٹا کیٹلاگ کی ہے۔ لہذا وہ اپنے ڈیٹا سینٹر میں ایلیسشن انسٹال کرتے ہیں اور پھر وہ اسے اپنے ڈیٹا ماحول میں میٹا ڈیٹا کے مختلف ذرائع سے مربوط کرتے ہیں۔ میں ڈیٹا بیس اور BI ٹولز پر تھوڑی توجہ مرکوز کروں گا - ان دونوں سے ہی ہم تکنیکی میٹا ڈیٹا نکالنے جا رہے ہیں ، بنیادی طور پر جو موجود ہے اس کے بارے میں۔ ٹھیک ہے ، تو کیا میزیں؟ کیا خبریں رپورٹ کی کیا تعریفیں ہیں؟ لہذا وہ اس تکنیکی میٹا ڈیٹا کو نکالتے ہیں ، اور ان نظاموں کے اندر موجود ہر شے کے لئے ایک کیٹلاگ کا صفحہ خود بخود تخلیق ہوجاتا ہے ، اور پھر ، وہ اس تکنیکی میٹا ڈیٹا کے اوپر بھی نکالتے ہیں اور پرت لگاتے ہیں ، وہ استعمال کے اعداد و شمار کو اوپر رکھتے ہیں۔ یہ بنیادی طور پر ڈیٹا بیس سے استفسار نوشتہ پڑھ کر کیا گیا ہے ، اور یہ واقعتا really دلچسپ معلومات کا ذریعہ ہے۔ لہذا ، جب بھی تجزیہ کار کوئ سوال لکھتا ہے ، جب بھی رپورٹنگ کا آلہ ، چاہے وہ گھر میں بڑا ہو ، یا شیلف سے دور ہو ، چاہے کوئی رپورٹنگ ٹول ڈیش بورڈ کو اپ ڈیٹ کرنے کے لئے کوئوری چلائے ، جب ایپلی کیشن اعداد و شمار داخل کرنے کیلئے کوئوری چلاتی ہے۔ ڈیٹا سیٹ۔ یہ سبھی چیزیں ڈیٹا بیس کے استفسار لاگ میں پائی جاتی ہیں۔ آپ کے پاس کیٹلاگ ہے یا نہیں ، وہ ڈیٹا بیس کے ساتھ استفسار لاگ میں پکڑے گئے ہیں۔ ڈیٹا کیٹلاگ کیا کرسکتا ہے ، اور خاص طور پر ایلیشن کی کیٹلاگ کیا کرسکتی ہے ، وہ نوشتہ پڑھتا ہے ، ان کے اندر موجود سوالات پوچھتا ہے ، اور ان نوشتہوں پر مبنی واقعی ایک دلچسپ استعمال کا گراف بناتا ہے ، اور ہم مستقبل کے صارفین کو آگاہ کرنے کے ل play اس کھیل کو کھیل میں لاتے ہیں۔ اس اعداد و شمار کے بارے میں کہ ماضی کے ڈیٹا کے صارفین نے اسے کس طرح استعمال کیا ہے۔

لہذا ، ہم اس سارے علم کو ایک کیٹلاگ میں اکٹھا کرتے ہیں ، اور محض اس کو حقیقی بنانے کے ل these ، یہ انضمام ہیں جو پہلے سے ہی صارفین پر تعینات ہیں ، لہذا ، ہم نے اوریکل ، ٹیراداٹا ، ریڈشیفٹ ، ورٹیکا اور دیگر گروپوں کو دیکھا ہے۔ متعلقہ ڈیٹا بیس ہڈوپ دنیا میں ، ہڈوپ پر ایس کیو ایل کی ایک حد ہے ، کچھ قسم کا رشتہ دار ، ہاڈوپ فائل سسٹم ، ایمپالا ، تیز ، پریسٹو اور ہائیو کے سب سے اوپر پر میٹا اسٹورز ، ہم نے بھی بادل ہڈوپ نجی فراہم کنندگان جیسے الٹیسکال کے ساتھ کامیابی دیکھی ہے ، اور ہم وہ وہاں ٹیلاو سرورز ، مائکرو اسٹریٹی سرورز اور ان ڈیش بورڈز کو انڈیکس کرنے کے ساتھ ساتھ پلاٹلی جیسے ڈیٹا سائنس چارٹنگ ٹولز کے ساتھ انضمام کرنے میں بھی کامیاب رہا ہے۔

لہذا ، ہم ان سارے سسٹم سے مربوط ہیں ، ہم نے ان سسٹمز کو صارفین سے مربوط کیا ہے ، ہم نے تکنیکی میٹا ڈیٹا کھینچ لیا ہے ، ہم نے استعمال کا ڈیٹا کھینچ لیا ہے ، اور ہم خود بخود ڈیٹا کیٹلوگ کو پرائم کرتے ہیں ، لیکن اس طرح سے ، علم کو مرکزی بنائیں ، لیکن صرف چیزوں کو ڈیٹا کیٹلاگ میں مرتب کرنا ، بذات خود ان واقعی حیرت انگیز پیداواری صلاحیتوں کو فراہم نہیں کرتا ہے جن کے بارے میں ہم ای بے ، اسکوائر اور مارکیٹ شیئر کے ساتھ بات کی ہے۔ ایسا کرنے کے ل we ، ہمیں دراصل اس طریقے کو تبدیل کرنے کی ضرورت ہے جس کے بارے میں ہم تجزیہ کاروں کو علم کی فراہمی کے بارے میں سوچتے ہیں۔ ایک سوال جو وہ اس کی تیاری کے لئے پوچھ رہے ہیں ، وہ یہ تھا کہ "کیٹلاگ کسی تجزیہ کار کے کام کے فلو کو کس طرح متاثر کرتا ہے؟"

ہم سارا دن اسی کے بارے میں سوچتے ہوئے گذارتے ہیں ، اور اس تبدیلی کے بارے میں بات کرنے کے ل a ، ایک دھکے کے آیات کو ایک پل ماڈل سمجھتے ہیں ، میں جلدی تشبیہ دینا چاہتا تھا کہ دنیا جلانے پر پڑھنے سے پہلے اور اس کے بعد کی طرح تھی۔ لہذا ، یہ صرف ایک تجربہ ہوسکتا ہے جب آپ کسی جسمانی کتاب کو پڑھ رہے ہو ، آپ کو ایک لفظ آتا ہے ، آپ کو یقین نہیں ہوتا کہ آپ اس لفظ کی تعریف کو اچھی طرح جانتے ہو ، آپ شاید سیاق و سباق سے اس کا اندازہ لگا سکتے ہیں ، اس امکان کا امکان نہیں ہے کہ آپ صوفے سے اٹھ کر ، اپنے کتابوں کی الماری پر چہل قدمی کریں گے ، اپنی لغت ڈھونڈیں گے ، اسے مٹی سے نکالیں گے ، اور الفاظ کی حرف تہجی کی فہرست میں صحیح جگہ پر پلٹائیں گے تاکہ یہ یقینی بنائے کہ ، ہاں آپ کی تعریف بالکل ٹھیک تھی ، اور آپ جانتے ہو اس کی باریکی تو واقعتا. ایسا نہیں ہوتا ہے۔ لہذا آپ جلانے والی ایپ خریدتے ہیں اور آپ وہاں کتابیں پڑھنا شروع کردیتے ہیں ، اور آپ کو ایک ایسا لفظ نظر آتا ہے جس کے بارے میں آپ کو قطعی یقین نہیں ہے اور آپ اس لفظ کو چھونے لگتے ہیں۔ اچانک ، بالکل اسی اسکرین میں ، لفظ کی لغت کی تعریف ہے ، اس کی تمام باریکیوں کے ساتھ ، مختلف مثال کے طور پر استعمال ہوتا ہے ، اور آپ تھوڑا سا سوائپ کرتے ہیں ، اور آپ کو اس موضوع پر ویکیپیڈیا کا مضمون مل جاتا ہے ، آپ دوبارہ سوائپ کرتے ہیں ، آپ کو ترجمہ کا ایک آلہ ملتا ہے جو اسے دوسری زبانوں میں یا دوسری زبانوں میں ترجمہ کرسکتا ہے ، اور زبان کے بارے میں اچانک آپ کا علم اتنا زیادہ امیر ہوتا ہے ، اور یہ آپ کے جانے کے وقت کے مقابلے میں ایک حیران کن تعداد میں ہوتا ہے۔ اپنے لئے وسائل کھینچیں۔

اور اس لئے میں جو بحث کرنے جا رہا ہوں ، وہ یہ ہے کہ ایک تجزیہ کار کے لئے ورک فلو اور جس طرح سے تجزیہ کار ڈیٹا دستاویزات کا معاملہ کرے گا ، در حقیقت اس سے بہت ملتا جلتا ہے کہ قارئین لغت کے ساتھ کس طرح بات چیت کرے گا ، چاہے کوئی جسمانی ، یا اگرچہ جلانے ، اور اس طرح ہم ، جس طرح سے واقعتا this ہم نے اس پیداوری کو بڑھا دیکھا ، وہ کیٹلاگ کو نہیں پھیلارہا ہے ، بلکہ اسے تجزیہ کار کے ورک فلو سے جوڑ رہا ہے ، اور اسی طرح ، انہوں نے مجھ سے یہاں ڈیمو کرنے کو کہا ہے ، اور میں چاہتا ہوں اس پریزنٹیشن کا مرکز بنانا۔ لیکن میں صرف ڈیمو کے لئے سیاق و سباق مرتب کرنا چاہتا ہوں۔ جب ہم ڈیٹا کے علم کو صارفین کو اس کی ضرورت پڑنے پر دھکیلنے کے بارے میں سوچتے ہیں تو ، ہم ایسا کرنے کے لئے صحیح جگہ سمجھتے ہیں ، وہ جگہ جہاں وہ اپنا وقت گزارتے ہیں اور جہاں وہ تجزیہ کررہے ہیں ، وہ ایک SQL استفسار کا آلہ ہے۔ ایسی جگہ جہاں آپ لکھتے ہو اور ایس کیو ایل کے سوالات چلاتے ہو۔ اور اسی طرح ہم نے ایک تعمیر کیا ، اور ہم نے اسے تعمیر کیا ، اور جو چیز اس کے بارے میں دوسرے استفساراتی ٹولز سے واقعی مختلف ہے وہ اس کا ڈیٹا کیٹلاگ کے ساتھ گہرا انضمام ہے۔

لہذا ہمارے استفساراتی آلے کو ایلیشن کمپوز کہا جاتا ہے۔ یہ ویب پر مبنی استفسار کا ٹول ہے اور میں اسے ایک سیکنڈ میں آپ کو دکھاؤں گا۔ ایک ویب پر مبنی استفسار کا آلہ جو ان تمام ڈیٹا بیس لوگوز پر کام کرتا ہے جو آپ نے گزشتہ سلائڈ پر دیکھا تھا۔ میں خاص طور پر ڈیمو کی کوشش کرنے جا رہا ہوں وہ طریقہ ہے جس سے کیٹلاگ کی معلومات صارفین تک آتی ہے۔ اور یہ اس طرح کے تین مختلف طریقوں سے ہوتا ہے۔ یہ مداخلتوں کے ذریعہ کرتا ہے ، اور یہ وہ جگہ ہے جہاں ڈیٹا گورنر ، یا ڈیٹا اسٹیورڈ ، یا کسی طرح کا منتظم ، یا مینیجر ، کہہ سکتا ہے ، "میں کسی نوٹ یا انتباہ کے ساتھ انٹرایکس کرنا چاہتا ہوں۔ ورک فلو اور اس بات کو یقینی بنائیں کہ یہ صارفین کو صحیح وقت پر پہنچایا جائے۔ "لہذا یہ ایک مداخلت ہے اور ہم اسے ظاہر کریں گے۔

سمارٹ تجاویز ایک ایسا طریقہ ہے جہاں ٹولل اپنے تمام جمع شدہ معلومات کو اشیاء کے ذریعہ اور کسی سوال کے کچھ حص suggestے کی تجویز کرنے کے لئے استعمال کرتا ہے جب آپ لکھ رہے ہیں۔ وہاں جاننے کے لئے سب سے اہم بات یہ ہے کہ وہ واقعی استفسار لاگ کا فائدہ اٹھاتا ہے ، اس کے لئے استعمال پر مبنی چیزوں کی تجویز پیش کرتا ہے اور اس سے پہلے بھی لکھے گئے سوالات کے کچھ حصے تلاش کرتا ہے۔ اور ہم اسے دکھائیں گے۔

اور پھر پیش نظارہ۔ پیش نظارہ یہ ہیں ، جیسے ہی آپ کسی شے کے نام پر ٹائپ کررہے ہیں ، ہم آپ کو وہ سب کچھ دکھاتے ہیں جو کیٹلاگ جانتا ہے ، یا کم از کم سب سے زیادہ متعلقہ چیزیں جو کیٹلاگ کو اس شے کے بارے میں معلوم ہے۔ لہذا اس اعداد و شمار کے نمونے ، جو اس سے پہلے استعمال کر چکے تھے ، اس چیز کا منطقی نام اور تفصیل ، آپ کے پاس اس وقت آتے ہیں جب آپ اسے لکھے بغیر لکھیں گے۔

لہذا مزید بات کرنے کے بغیر ، میں ڈیمو پر جاؤں گا ، اور میں اس کے ظاہر ہونے کا انتظار کروں گا۔ میں جو کچھ آپ کو یہاں دکھاتا ہوں وہ استفسار کا آلہ ہے۔ یہ ایک سرشار ایس کیو ایل لکھنے کا انٹرفیس ہے۔ یہ ایک خاص معنی میں ، کیٹلاگ سے الگ انٹرفیس ہے۔ ڈیز اور رابن نے کیٹلاگ کے بارے میں بات کی ، اور میں براہ راست کیٹلاگ انٹرفیس پر تھوڑا سا چھلانگ لگا رہا ہوں کہ براہ راست اس کام کے فلو کو کس طرح پیش کیا جاسکتا ہے۔

میں یہاں صرف ایک ایسی جگہ دکھا رہا ہوں جہاں میں ایس کیو ایل ٹائپ کرسکتا ہوں ، اور نیچے آپ دیکھیں گے کہ ہمارے پاس کچھ چیزیں ایسی چیزوں کے بارے میں ظاہر ہوتی ہیں جن کا ہم حوالہ دے رہے ہیں۔ تو میں صرف ایک سوال ٹائپ کرنا شروع کروں گا اور جب میں ان مداخلتوں میں سے کسی ایک تک پہنچوں گا تو میں رک جاؤں گا۔ تو میں "منتخب کریں" ٹائپ کروں گا ، اور میں سال چاہتا ہوں۔ میں نام چاہتا ہوں اور میں تنخواہ کے کچھ اعداد و شمار تلاش کرنے جا رہا ہوں۔ تو یہ ایک تعلیم کا ڈیٹا سیٹ ہے۔ اس میں اعلی تعلیمی اداروں کے بارے میں معلومات ہیں ، اور میں اوسط فیکلٹی تنخواہ دیکھ رہا ہوں جو ان جدولوں میں سے ایک میں ہے۔

تو میں نے اصل میں لفظ "تنخواہ" ٹائپ کیا ہے۔ کالم کے نام پر یہ بالکل اس طرح نہیں ہے۔ ہم تجاویز کے ل the منطقی میٹا ڈیٹا اور جسمانی میٹا ڈیٹا دونوں استعمال کرتے ہیں۔ اور میں یہاں جس چیز کی نشاندہی کرنا چاہتا ہوں وہ یہ پیلا خانہ ہے جو یہاں ظاہر ہورہا ہے۔ اس کا کہنا ہے کہ اس کالم پر ایک انتباہ ہے۔ میں اس کی تلاش میں نہیں گیا ، میں نے اس میں کوئی کلاس نہیں لیا کہ اس ڈیٹا کو صحیح طریقے سے کس طرح استعمال کیا جا.۔ یہ میرے پاس آیا ، اور یہ رازداری کے معاہدے کے بارے میں ایک انتباہ ہوتا ہے جس کا اس ڈیٹا سے کوئی تعلق ہے۔ تو انکشاف کے کچھ اصول ہیں۔ اگر میں اس ڈیٹا سے استفسار کرنے جا رہا ہوں تو ، میں اس جدول سے ڈیٹا نکالنے جا رہا ہوں ، مجھے اس کے بارے میں محتاط رہنا چاہئے۔ تو آپ کے یہاں گورننس پالیسی ہے۔ کچھ تعمیل چیلنجز ہیں جن کی تعمیل کرنا اس پالیسی کو اتنا آسان بنا دیتا ہے جب میں اس وقت کے بارے میں جانتا ہوں کہ میں ڈیٹا کو دیکھ رہا ہوں۔

تو میں نے یہ میرے پاس آنا ہے ، اور پھر میں بھی ٹیوشن دیکھنے جا رہا ہوں۔ اور یہاں ہم دیکھتے ہیں کہ پیش نظارہ کھیل میں آتے ہیں۔ اس ٹیوشن کالم پر ، میں دیکھتا ہوں - ادارہ ٹیبل پر ایک ٹیوشن کالم ہے ، اور میں اس کا پروفائل دیکھ رہا ہوں۔ اییلیشن ٹیبلز سے نمونہ کے اعداد و شمار کو کھینچتی ہے ، اور اس معاملے میں ، یہ مجھے کچھ ایسا دکھا رہا ہے جو بہت دلچسپ ہے۔ یہ مجھے اقدار کی تقسیم دکھا رہا ہے ، اور یہ مجھے دکھا رہا ہے کہ نمونے میں صفر کی قیمت 45 بار ظاہر ہوئی ہے ، اور کسی بھی دوسری قیمت سے زیادہ ہے۔ تو مجھے کچھ سمجھ میں آگیا ہے کہ شاید ہمارے پاس کچھ ڈیٹا غائب ہوگا۔

اگر میں ایک اعلی درجے کا تجزیہ کار ہوں تو ، یہ شاید پہلے سے ہی میرے ورک فلو کا حصہ ہو۔ خاص طور پر اگر میں خاص طور پر پیچیدہ ہوں ، جہاں میں وقت سے پہلے پروفائلنگ کے سوالات کا ایک گروپ کروں گا۔ جب بھی میں کسی نئے اعداد و شمار کے قریب پہنچتا ہوں ، میں ہمیشہ اس کے بارے میں سوچتا ہوں کہ ہمارے ڈیٹا کی کوریج کیا ہے۔ لیکن اگر میں ڈیٹا تجزیہ کرنے کے لئے نیا ہوں ، اگر میں اس ڈیٹا سیٹ میں نیا ہوں تو ، میں یہ سمجھ سکتا ہوں کہ اگر کوئی کالم ہے تو ، اس میں ہر وقت بھرنا پڑتا ہے۔ یا میں یہ فرض کرسکتا ہوں کہ اگر یہ پُر نہیں ہوا ہے تو ، یہ صفر نہیں ہے ، یہ کال ہے یا کوئی ایسی چیز ہے۔ لیکن اس معاملے میں ، ہمارے پاس بہت سارے زیرو ہیں ، اور اگر میں نے اوسطا کارکردگی کا مظاہرہ کیا تو ، وہ شاید غلط ہوں گے ، اگر میں نے صرف یہ فرض کرلیا کہ وہ صفر اعداد و شمار کی گمشدگی کی بجائے صفر تھے۔

لیکن ایلیشن ، اس پیش نظارہ کو اپنے کام کے فلو میں لے کر ، قسم سے آپ سے اس معلومات پر ایک نظر ڈالنے کے لئے کہتا ہے اور یہاں تک کہ نوواح تجزیہ کاروں کو بھی یہ دیکھنے کا موقع فراہم کرتا ہے کہ اس اعداد و شمار کے بارے میں یہاں کچھ نوٹ کرنے کی ضرورت ہے۔ تو ہمارے پاس یہ پیش نظارہ ہے۔

اگلی چیز جو میں کرنے جا رہی ہوں وہ ہے میں یہ جاننے کی کوشش کرنے جا رہا ہوں کہ کون سے ٹیبلز سے یہ معلومات حاصل کی جا. گی۔ تو یہاں ہم سمارٹ تجاویز دیکھیں۔ یہ ہر وقت چلا آرہا ہے ، لیکن خاص طور پر یہاں ، میں نے کچھ بھی نہیں ٹائپ کیا ہے لیکن یہ مجھے یہ تجویز کرنے جارہا ہے کہ میں اس سوال کے لئے کون سی ٹیبلز استعمال کرنا چاہتا ہوں۔ اور اس کے بارے میں جاننے کے لئے سب سے اہم بات یہ ہے کہ وہ استعمال کے اعدادوشمار سے فائدہ اٹھاتا ہے۔ چنانچہ ایسے ماحول میں جیسے ، ای بے ، جہاں آپ کے پاس ایک ہی ڈیٹا بیس میں لاکھوں میزیں موجود ہیں ، ایک آلہ ہے جس سے بھری سے گندم کو مارا جاسکتا ہے ، اور استعمال کے اعدادوشمار کو استعمال کرنا واقعی اہم ہے۔ کچھ قابل قیمت تجاویز۔

تو یہ اس ٹیبل کو تجویز کرنے جا رہا ہے۔ جب میں پیش نظارہ دیکھتا ہوں تو ، ہم در حقیقت ان تین کالموں کو اجاگر کرتے ہیں جن کا میں نے پہلے ہی اپنی سوال میں ذکر کیا ہے۔ تو میں جانتا ہوں کہ یہ تین ہو گیا ہے ، لیکن اس کا نام نہیں ہے۔ مجھے نام لینے کی ضرورت ہے ، لہذا میں ایک شمولیت کرنے جارہا ہوں۔ جب میں شامل ہوجاتا ہوں تو ، اب مجھے یہ پیش نظارہ دیکھنے میں مدد ملیں گے ، نام کے ساتھ جدول کہاں ہے۔ تو میں دیکھتا ہوں کہ اس کا ایک عمدہ فارمیٹڈ ، مناسب قسم کا بڑے دارالحکومت کا نام ہے۔ ایسا لگتا ہے کہ ہر ایک ادارے کے نام کے ساتھ ایک صف ہے ، لہذا میں اس پر قبضہ کرنے جا رہا ہوں ، اور اب مجھے شمولیت کی شرط کی ضرورت ہے۔

اور اسی طرح ، یہاں جو اییلیشن کر رہا ہے وہ دوبارہ استفسار والے نوشتہ جات کو دیکھ رہا ہے ، پچھلی بار یہ دیکھ رہا ہے کہ یہ دونوں ٹیبل شامل ہوچکے ہیں ، اور ان میں شامل ہونے کے مختلف طریقے تجویز کرتے ہیں۔ ایک بار پھر ، کچھ مداخلت ہے۔ اگر میں ان میں سے کسی کو بھی دیکھتا ہوں تو ، اس کو ایک انتباہ ملا ہے جس سے مجھے معلوم ہوتا ہے کہ اس کو صرف مجموعی تجزیہ کے لئے استعمال کیا جانا چاہئے۔ اگر آپ ادارے کے ذریعہ ادارے کے ذریعہ کچھ کرنے کی کوشش کر رہے ہیں تو یہ شاید غلط چیز پیدا کرے گا۔ جبکہ اگر آپ یونیورسٹی سطح کا ڈیٹا چاہتے ہیں تو او پی ای ID کے ساتھ ، اس دو ٹیبلز میں شامل ہونے کے مناسب طریقے کے طور پر اس کی توثیق کی جاتی ہے۔ تو میں یہ کرتا ہوں ، اور یہ ایک چھوٹا سا سوال ہے ، لیکن میں نے اپنا سوال لکھا ہے کہ اعداد و شمار کیا ہیں اس میں حقیقت میں کوئی بصیرت نہیں ہے۔ میں نے اس ڈیٹا سیٹ کے واقعی ER ڈایاگرام پر کبھی نہیں دیکھا تھا ، لیکن میں اس ڈیٹا کے بارے میں پہلے ہی کافی کچھ جانتا ہوں کیونکہ متعلقہ معلومات میرے پاس آرہی ہے۔

لہذا یہ تین طرح سے ہیں کہ کیٹلاگ ، مربوط استفساراتی ٹول کے ذریعہ ، کام کے فلو کو براہ راست اثر انداز کرسکتا ہے جب آپ سوالات لکھ رہے ہیں۔ لیکن ایک کیٹلاگ کے ساتھ استفسار کرنے والے کوئ ٹول کا ایک اور فائدہ یہ ہے کہ ، جب میں اپنی استفسار ختم کرتا ہوں اور میں اسے بچاتا ہوں تو ، میں "انسٹی ٹیوشن ٹیوشن اور فیکلٹی تنخواہ" جیسے عنوان رکھ سکتا ہوں ، اور پھر میرے پاس یہاں ایک بٹن ہے کہ مجھے صرف اسے کیٹلاگ میں شائع کرنے کی اجازت دیتا ہے۔ میرے لئے اس کی پیٹھ کو کھانا کھلانا بہت آسان ہو جاتا ہے۔ یہاں تک کہ اگر میں اسے شائع نہیں کرتا ہوں ، تو یہ استفسار لاگ کے حصے کے طور پر پکڑا جارہا ہے ، لیکن جب میں اسے شائع کرتا ہوں تو ، یہ حقیقت میں اس راستہ کا حصہ بن جاتا ہے کہ مرکزی جگہ جہاں تمام اعداد و شمار کا علم رہتا ہے۔

لہذا اگر میں ایلیشن میں تمام سوالات کے لئے تلاش پر کلک کرتا ہوں تو ، مجھے لے جایا جا رہا ہے - اور یہاں آپ کو کیٹلاگ انٹرفیس میں سے کچھ اور نظر آئے گا - مجھے ایک وقف شدہ استفسار تلاش میں لے جایا گیا ہے جس سے مجھے سوالات تلاش کرنے کا ایک راستہ نظر آتا ہے۔ پوری تنظیم. اور آپ دیکھیں گے کہ میری نئی شائع شدہ سوال سب سے اوپر ہے۔ اور کچھ یہاں پر غور کریں گے ، جیسے ہی ہم استفسار کرتے ہیں ، مصنفین کو بھی گرفت میں لیتے ہیں ، اور ہم مصنف اور ان ڈیٹا آبجیکٹ کی حیثیت سے میرے مابین اس تعلق کو قائم کرتے ہیں جس کے بارے میں اب میں کچھ جانتا ہوں۔ اور میں اس سوال پر اور ان ڈیٹا اشیاء پر ایک ماہر کی حیثیت سے قائم ہورہا ہوں۔ جب واقعی میں لوگوں کو اعداد و شمار کے بارے میں جاننے کی ضرورت ہوتی ہے تو یہ واقعی مددگار ہوتی ہے ، پھر وہ اس کے بارے میں جاننے کے لئے صحیح شخص کی تلاش کرسکتے ہیں۔ اور اگر میں واقعتا new اعداد و شمار کے لئے نیا ہوں ، چاہے میں ایک جدید تجزیہ کار ہوں - ایک اعلی تجزیہ کار کے طور پر ، میں شاید اس پر نظر ڈالوں اور ایسی مثالوں کا ایک مجموعہ دیکھوں جو مجھے ایک نئے ڈیٹا سیٹ پر شروع کردے۔ کسی ایسے شخص کے طور پر جو شاید ایس کیو ایل کے بارے میں زیادہ جانکاری محسوس نہ کرے ، مجھے پہلے سے تیار کردہ سوالات مل سکتے ہیں جن کی اطلاع ہے کہ میں اس سے فائدہ اٹھا سکتا ہوں۔

میڈ مزین ایس اے ٹی اسکور کے بارے میں فل مازنیٹ کا ایک ایک یہ ہے۔ اس پر کلک کریں ، اور میں خود ہی استفسار کے لئے کیٹلاگ کے صفحے کو ترتیب دیتا ہوں۔ اس میں ایک مضمون کے بارے میں بات کی گئی ہے جس میں لکھا گیا تھا کہ اس سوال کا حوالہ دیتا ہے ، لہذا میرے پاس کچھ دستاویزات موجود ہیں کہ اگر میں اسے استعمال کرنا سیکھنا چاہتا ہوں تو اسے پڑھیں۔ اور میں اس کو کمپوز بٹن پر کلک کرکے استفسار کے ٹول میں کھول سکتا ہوں ، اور میں اسے یہاں ترمیم کیے بغیر ہی چلا سکتا ہوں۔ اور دراصل ، آپ کو ہماری ہلکی وزن کی اطلاع دہندگی کی تھوڑی بہت صلاحیتوں کو دیکھنا ہوگا ، جہاں ، جب آپ استفسار لکھ رہے ہو تو ، آپ اس طرح کے سانچے کے متغیر میں گرا سکتے ہیں اور اس سے سوال کو عملی جامہ پہنانے کے لئے فارم بنانے کا ایک آسان طریقہ پیدا ہوتا ہے۔ پیرامیٹرز کے ایک جوڑے پر.

تو میرے پاس ڈیمو کے لئے یہی ہے۔ میں واپس سلائیڈز پر جا رہا ہوں۔ محض ایک قسم کی بازیافت کے ل we ، ہم نے دکھایا کہ ایک منتظم ، ایک ڈیٹا گورنر ، سوال کے ٹول میں ظاہر ہونے والی اشیاء پر انتباہات دے کر مداخلت کیسے کرسکتا ہے ، ایلیشن سمارٹ تجاویز کے ل data اعداد و شمار کے اشیاء کے استعمال کے بارے میں اپنے علم کو کس طرح استعمال کرتی ہے۔ تجزیہ کاروں کے ورک فلو کو بہتر بنانے کے ل prof پروفائلنگ اور دیگر اشارے میں جب وہ کسی خاص چیز کو چھونے لگتے ہیں ، اور جب نئے سوالات لکھے جاتے ہیں تو اس طرح کی تمام فہرستیں کیٹلاگ میں واپس آ جاتی ہیں۔

ظاہر ہے کہ میں کمپنی کی طرف سے ترجمان ہوں۔ میں ڈیٹا کیٹلاگ کے بارے میں اچھی باتیں کہوں گا۔ اگر آپ ہمارے کسی ایک صارف سے براہ راست سننا چاہتے ہیں تو ، سیف وے پر کرسٹی ایلن تجزیہ کاروں کی ایک ٹیم چلاتی ہے اور اس کے بارے میں واقعی ایک عمدہ کہانی ہے جب اسے مارکیٹنگ کے تجربے کو پیش کرنے کے لئے گھڑی کو واقعی میں شکست دینے کی ضرورت تھی ، اور اس کا سارا کام ٹیم نے اس منصوبے پر تعاون کرنے اور واقعی میں تیزی سے پھیرنے کے لئے اییلیشن کا استعمال کیا۔ لہذا آپ اس کہانی کی جانچ پڑتال کے ل this اس بٹ لنک پر عمل کرسکتے ہیں ، یا اگر آپ اس بارے میں تھوڑا سا سننا چاہتے ہیں کہ الیشن آپ کی تنظیم میں ڈیٹا کیٹلوگ کیسے لاسکتا ہے تو ، ہم ایک ذاتی نوعیت کا ڈیمو ترتیب دینے میں خوش ہیں۔ بہت شکریہ.

ربیکا جوزویق: ڈیوڈ ، بہت بہت شکریہ۔ مجھے یقین ہے کہ ڈز اور رابن سے کچھ سوالات ہیں اس سے پہلے کہ میں سامعین کے سوال و جواب کا رخ کروں۔ Dez ، کیا آپ پہلے جانا چاہتے ہیں؟

ڈیز بلینچفیلڈ: بالکل۔ مجھے شائع شدہ سوالات کے اس تصور کا نظریہ پسند ہے اور تصنیف کے ماخذ سے اسے دوبارہ جوڑنا ہے۔ میں اندرون خانہ ایپ اسٹور کے اس خیال کا ایک دیرینہ چیمپیئن رہا ہوں اور مجھے لگتا ہے کہ اس کی تعمیر کے لئے یہ واقعی ایک بہت بڑی فاؤنڈیشن ہے۔

میں اس طرح کی کچھ تنظیموں کے بارے میں کچھ حد تک بصیرت حاصل کرنے پہنچا جس کو آپ یہ کرتے ہوئے دیکھ رہے ہیں ، اور کامیابی کی کچھ کہانیاں جو ان کو شاید اعداد و شمار کو دریافت کرنے کے لئے نہ صرف آپ کے آلے اور پلیٹ فارم سے فائدہ اٹھانے کے پورے سفر کے ساتھ ہوسکتی ہیں ، اس کے بعد بھی ان کی داخلی ثقافتی اور طرز عمل کی خصوصیات کو چاروں طرف تبدیل کریں۔ اب آپ اس طرح کے اندرون خانہ ایپ اسٹور رکھتے ہوئے جہاں آپ صرف ڈاؤن لوڈ کرتے ہیں ، وہ تصور جہاں وہ نہ صرف اسے تلاش کرسکتے ہیں ، بلکہ وہ حقیقت میں اس علم رکھنے والوں کے ساتھ چھوٹی کمیونٹیز تیار کرنا شروع کرسکتے ہیں۔

ڈیوڈ کرفورڈ: ہاں ، مجھے لگتا ہے کہ ہمیں حیرت ہوئی ہے۔ ہم ایڈٹیک میں بطور پروڈکٹ مینیجر اور ان تمام گراہکوں سے ، جن سے ہم نے بات کی ہے ، مشترکہ سوالات کی اہمیت پر یقین رکھتے ہیں ، لیکن مجھے پھر بھی حیرت ہوئی ہے کہ صارفین پہلی بار میں سے ایک ہے اس قدر کے بارے میں بات کریں جس سے وہ اییلیشن سے نکل جاتے ہیں۔

میں نے انوائس ٹوگو نامی ہمارے ایک گاہک پر استفساراتی ٹول کی صارف جانچ کی تھی ، اور ان کے پاس ایک پروڈکٹ مینیجر تھا جو نسبتا new نیا تھا ، اور انہوں نے کہا - اس نے مجھے اصل میں بتایا ، صارف کے امتحان کے دوران غیر رکاوٹ ، "میں واقعی میں ایسا نہیں کرتا ایس کیو ایل کو تحریری طور پر چھوڑیں ، سوائے اس کے کہ ایلیشن کے ذریعہ یہ آسان ہوگیا ہے۔ "اور ظاہر ہے ، بطور وزیر اعظم ، میں ایک طرح سے جاتا ہوں ،" آپ کا کیا مطلب ہے ، ہم نے یہ کیسے کیا؟ "اور اس نے کہا ،" ٹھیک ہے ، واقعی یہ صرف اتنا ہے کیونکہ میں لاگ ان ہوسکتا ہوں اور میں ان تمام موجودہ سوالات کو دیکھ سکتا ہوں۔ "ایس کیو ایل کے ساتھ کسی خالی سلیٹ سے آغاز کرنا ایک ناقابل یقین حد تک مشکل کام ہے ، لیکن ایک موجودہ سوال میں ترمیم کرنا جہاں آپ کو نتیجہ نظر آسکتا ہے جس کا نتیجہ سامنے آتا ہے اور آپ کہہ سکتے ہیں ، "اوہ ، مجھے صرف اس اضافی کالم کی ضرورت ہے ،" یا ، "مجھے اسے تاریخ کی ایک خاص حد پر چھاننے کی ضرورت ہے ،" یہ کرنا بہت آسان کام ہے۔

ہم نے اس طرح کے ذیلی کردار دیکھے ہیں ، جیسے پروڈکٹ مینیجرز ، شاید سیلز آپپس میں شامل افراد ، جو اٹھانا شروع کردیتے ہیں ، اور جو ہمیشہ ایس کیو ایل سیکھنا چاہتے ہیں اور اس کیٹلاگ کا استعمال کرکے اسے منتخب کرنا شروع کرتے ہیں۔ ہم نے یہ بھی دیکھا ہے کہ بہت ساری کمپنیوں نے اوپن سورس کو ترتیب دینے کی کوشش کی ہے۔ میں نے اس طرح کی چیزوں کو اندرونی طور پر استوار کرنے کی کوشش کی ہے ، جہاں وہ استفسارات کو تلاش کرتے ہیں اور اسے دستیاب کرتے ہیں ، اور ان کو مفید بنانے کے ل some کچھ واقعی مشکل ڈیزائن چیلنج ہیں۔ فیس بک کے پاس ایک داخلی ٹول موجود ہے جسے انہوں نے ہائپال کہا تھا جس نے اس طرح سے ہائیو پر لکھے گئے تمام سوالات کو اپنی گرفت میں لے لیا تھا ، لیکن آپ کو جو پتہ چلتا ہے وہ یہ ہے کہ اگر آپ صارفین کو صحیح طریقے سے ٹھوس نہیں کھاتے ہیں تو ، آپ صرف ایک اختتام کو ختم کردیتے ہیں منتخب بیانات کی بہت لمبی فہرست۔ اور بطور صارف جو یہ جاننے کی کوشش کر رہا ہے کہ آیا کوئ استفسار میرے لئے کارآمد ہے یا اگر یہ کوئی اچھی بات ہے ، اگر میں صرف منتخب بیانات کی ایک لمبی فہرست کو دیکھتا ہوں تو ، وہاں قیمت کے مقابلے میں کچھ حاصل کرنے میں مجھے بہت زیادہ وقت لگے گا۔ شروع سے شروع. ہم نے بہت احتیاط کے ساتھ سوچا کہ کوئوریلا کی فہرست کیسے بنائی جائے جو صحیح چیزیں سامنے لائے اور اسے مفید طریقے سے فراہم کرے۔

ڈیز بلوچفیلڈ: میرے خیال میں ہم سب ایک بہت ہی چھوٹی عمر سے لے کر جوانی تک ، بہت سے طریقوں سے اس سفر سے گزر رہے ہیں۔ ٹیکنالوجیز کا ایک گروپ میں ، ذاتی طور پر خود ، میں اسی بالکل حقیقی چیز سے گزر چکا ہوں ، جیسے ، کوڈ کاٹنا سیکھ رہا ہوں۔ میں رسالوں اور پھر کتابوں سے گذرتا تھا ، اور میں ایک خاص سطح تک تعلیم حاصل کرتا تھا ، اور پھر مجھے اس کی تعلیم کے لئے کچھ اور تربیت حاصل کرنے کی ضرورت تھی۔

لیکن نادانستہ طور پر میں نے پایا کہ جب میں خود پڑھانے اور میگزین پڑھنے اور کتابیں پڑھنے اور دوسرے لوگوں کے پروگراموں کو کاٹنے اور اس پر کورس کرنے جارہی تھی تب بھی میں نے کورسز کرنے سے اتنا ہی سیکھنا ختم کیا جیسے میں نے صرف دوسرے سے بات کی تھی وہ لوگ جن کے کچھ تجربات تھے۔ اور مجھے لگتا ہے کہ یہ ایک دلچسپ دریافت ہے کہ ، اب جب آپ اسے ڈیٹا انیلیٹکس کے پاس لاتے ہیں تو ، ہم بنیادی طور پر وہی متوازی دیکھ رہے ہیں ، کہ انسان ہمیشہ کافی ہوشیار ہوتا ہے۔

دوسری بات جس کو میں واقعی سمجھنے کے خواہاں ہوں ، وہ ہے بہت اعلی سطح پر ، بہت ساری تنظیمیں یہ پوچھیں گی ، "اس مقام تک پہنچنے میں کتنا وقت لگتا ہے؟" آپ کا پلیٹ فارم انسٹال ہوا ہے اور انہوں نے ٹولز کی اقسام کو دریافت کرنا شروع کیا ہے؟ لوگ کتنی جلدی اس چیز کو دیکھ کر واقعتا thing فوری طور پر "ا-ہا" لمحے میں تبدیل ہو جاتے ہیں جہاں انہیں احساس ہوتا ہے کہ وہ اب آر اوآئ کے بارے میں بھی فکر مند نہیں ہیں کیونکہ وہاں موجود ہے ، لیکن اب وہ واقعی اپنے کاروبار کو تبدیل کرنے والے ہیں ؟ اور انھوں نے کھوئے ہوئے فن کو ڈھونڈ لیا ہے اور انہیں توقع ہے کہ وہ واقعی کچھ کر سکتے ہیں ، اس کے ساتھ واقعی تفریح ​​کریں گے۔

ڈیوڈ کرفورڈ: ہاں ، میں اس پر تھوڑا سا چھو سکتا ہوں۔ میرا خیال ہے کہ جب ہم انسٹال ہوجاتے ہیں تو وہ اچھی چیزوں میں سے ایک چیز ، جو لوگوں کو کسی کیٹلاگ کے بارے میں پسند ہوتی ہے جو براہ راست ڈیٹا سسٹم سے منسلک ہوتا ہے ، وہ یہ ہے کہ آپ کو خالی جگہ نہیں دینا ہے جہاں آپ کو اس میں بھرنا پڑتا ہے۔ صفحے کے لحاظ سے صفحہ۔ اور یہ اس طرح کے پچھلے اعداد و شمار کے حل کی حقیقت ہے جہاں آپ خالی آلے سے شروع کریں گے اور آپ کو ہر اس دستاویز کو تیار کرنا شروع کرنا ہوگا جس کی آپ دستاویز کرنا چاہتے ہیں۔

چونکہ ہم میٹا ڈیٹا نکال کر خود بخود بہت ساری چیزوں کو دستاویز کرتے ہیں ، بنیادی طور پر سوفٹویئر انسٹال ہونے کے چند ہی دنوں میں ، آپ کے پاس اپنے ڈیٹا ماحول کی تصویر ہوسکتی ہے جو اس آلے میں کم از کم 80 فیصد ہے۔ اور پھر میرا خیال ہے کہ جیسے ہی لوگ ٹول سے سوالات لکھنا شروع کریں گے ، وہ خود بخود کیٹلاگ میں محفوظ ہوجائیں گے ، اور اس طرح وہ بھی ظاہر کرنا شروع کردیں گے۔

میں یہ بتانے میں زیادہ بے چین نہیں ہونا چاہتا ہوں۔ میرے خیال میں ایک مہینے میں ، دو ہفتوں کا ایک اچھا عمدہ قدامت پسندی کا تخمینہ ہے۔ ایک مہینہ سے دو ہفتوں تک ، واقعی مڑنے اور محسوس کرنے کا قدامت پسندانہ تخمینہ جس سے آپ اس کی قدر کر رہے ہیں جیسے آپ کچھ معلومات بانٹنا شروع کر رہے ہو اور وہاں جاکر اپنے اعداد و شمار کے بارے میں چیزیں ڈھونڈنے میں کامیاب ہوجائیں گے۔

ڈیز بلنفیلڈ: واقعی جب آپ اس کے بارے میں سوچتے ہیں تو یہ حیرت انگیز ہے۔ یہ حقیقت یہ ہے کہ کچھ بڑے اعداد و شمار کے پلیٹ فارم جن کو آپ مؤثر انداز میں ترتیب اور فہرست سازی کرتے ہیں ان کو نفاذ اور تعینات اور مناسب طریقے سے کھڑے ہونے میں کبھی کبھی سال لگے گا۔

روبین بلور کے حوالے کرنے سے پہلے آپ کے پاس آخری سوال ، رابط کرنے والا ہے۔ ایسی چیزوں میں سے ایک جو مجھ پر فورا. چھلانگ لگاتا ہے آپ کو ظاہر ہے کہ پورا چیلنج حل ہوجاتا ہے۔ تو پھر واقعی میں ایک جوڑے کے بارے میں کچھ سوالات ہیں۔ ایک ، کنیکٹر کتنی تیزی سے لاگو ہوتے ہیں؟ ظاہر ہے کہ آپ سب سے بڑے پلیٹ فارم سے شروع کریں ، جیسے اوریکلز اور ٹیرادتاس اور اسی طرح اور DB2s۔ لیکن آپ کتنے باقاعدگی سے دیکھ رہے ہیں کہ نئے کنیکٹر آتے ہیں ، اور وہ کون سا اہم وقت لیتے ہیں؟ میرا خیال ہے کہ آپ کے پاس ان کے لئے ایک معیاری فریم ورک ہے۔ اور آپ ان میں کس قدر گہرائی میں جاتے ہیں؟ مثال کے طور پر ، دنیا کے اوریکلز اور IBM ، اور یہاں تک کہ Tereadata ، اور پھر دیر سے اوپن سورس پلیٹ فارم کے کچھ زیادہ مشہور۔ کیا وہ آپ کے ساتھ براہ راست کام کر رہے ہیں؟ کیا آپ خود دریافت کر رہے ہیں؟ کیا آپ کو ان پلیٹ فارمز پر اندرونی معلومات حاصل کرنے کی ضرورت ہے؟

ایسا لگتا ہے کہ کنیکٹر کو کس طرح تیار کرنا ہے ، اور آپ ان شراکت میں کتنی گہری شمولیت اختیار کرتے ہیں تاکہ اس بات کو یقینی بنایا جاسکے کہ وہ رابط ہر ممکنہ طور پر دریافت کر رہے ہیں جس کو تلاش کر رہے ہو؟

ڈیوڈ کرفورڈ: ہاں ، یقینا ، یہ ایک بہت بڑا سوال ہے۔ مجھے لگتا ہے کہ زیادہ تر حصے کے لئے ، ہم کنیکٹر تیار کرسکتے ہیں۔ ہم یقینی طور پر تب کرتے تھے جب ہم چھوٹے اسٹارٹ اپ تھے اور ہمارے گراہک نہیں تھے۔ ہم کسی بھی داخلی رسائی کی ضرورت کے بغیر یقینی طور پر رابطے تیار کرسکتے ہیں۔ ہمیں کبھی بھی ڈیٹا سسٹم تک کوئی خاص رسائی حاصل نہیں ہوتی جو عوامی طور پر دستیاب نہیں ہیں ، اور اکثر کسی اندر کی معلومات کی ضرورت کے بغیر۔ ہم خود ڈیٹا سسٹم کے ذریعہ دستیاب میٹا ڈیٹا خدمات سے فائدہ اٹھاتے ہیں۔ ان میں کام کرنے میں اکثر پیچیدہ اور مشکل ہوسکتی ہے۔ میں خاص طور پر ایس کیو ایل سرور کو جانتا ہوں ، جس طرح سے وہ استفسار لاگ کا انتظام کرتے ہیں ، وہاں متعدد مختلف ترتیبیں موجود ہیں اور یہ ایسی چیز ہے جس میں آپ کو واقعی کام کرنا ہے۔ اس کو صحیح طریقے سے ترتیب دینے کے ل You آپ کو اس کی باریکیوں ، گنبدوں اور ڈائلوں کو سمجھنا ہوگا ، اور یہ وہ چیز ہے جس پر ہم صارفین کے ساتھ مل کر کام کرتے ہیں کیونکہ ہم اس سے پہلے بھی متعدد بار کام کر چکے ہیں۔

لیکن ایک حد تک ، یہ اس طرح کے عوامی APIs ہیں جو دستیاب ہیں یا عوامی سطح پر دستیاب ہیں جو ہمارا فائدہ اٹھاتے ہیں۔ ہمارے پاس ان میں سے متعدد کمپنیوں کے ساتھ شراکت داری ہے ، یہ زیادہ تر سند کی بنیاد ہے ، تاکہ وہ یہ کہتے ہوئے راحت محسوس کریں کہ ہم کام کرتے ہیں اور وہ ہمیں جانچ کے لئے وسائل بھی مہیا کرسکتے ہیں ، بعض اوقات ابتدائی طور پر کسی پلیٹ فارم تک پہنچ سکتے ہیں جو اس بات کو یقینی بناتے ہیں۔ ہم نئے ورژن پر کام کرتے ہیں۔

ایک نئے کنکشن کو تبدیل کرنے کے ل To ، میں ایک بار پھر قدامت پسند ہونے کی کوشش کرتے ہوئے کہوں گا ، آئیے چھ ہفتوں سے دو ماہ کہتے ہیں۔ یہ اس پر منحصر ہے کہ یہ کتنا مماثل ہے۔ تو کچھ Postgre کام کی طرح کچھ ایسی نظر آتے ہیں جیسے Redshift سے ملتے جلتے ہیں۔ ریڈشیفٹ اور ورٹیکا اپنی تفصیلات میں بہت کچھ شیئر کرتے ہیں۔ تو ہم ان چیزوں سے فائدہ اٹھا سکتے ہیں۔ لیکن ہاں ، چھ ہفتوں سے دو مہینوں تک منصفانہ ہوگا۔

ہمارے پاس بھی API ہیں ، لہذا - ہم ایلیشن کو ایک میٹا ڈیٹا پلیٹ فارم کی حیثیت سے بھی سوچتے ہیں ، لہذا اگر ہمارے پاس پہنچنے اور خود بخود قبضہ کرنے کے لئے کچھ بھی دستیاب نہیں ہے تو ، ایسے طریقے ہیں کہ آپ خود کنیکٹر لکھ سکتے ہیں اور اسے ہمارے سسٹم میں دھکیل سکتے ہیں۔ کہ ہر چیز اب بھی ایک ہی سرچ انجن میں مرکزی حیثیت رکھتی ہے۔

ڈیز بلینچفیلڈ: لاجواب۔ میں اس کی تعریف کرتا ہوں۔ تو ہم اسے رابن کے حوالے کردیں گے ، کیوں کہ مجھے یقین ہے کہ اس کے پاس بھی سوالات کی بہتات ہے۔ رابن۔

ربیکا جوزوایاک: رابن خاموش ہوسکتا ہے۔

ڈیز بلین فیلڈ: آپ خود کو خاموش کر چکے ہیں۔

رابن بلور: ہاں ، ٹھیک ہے۔ معذرت ، میں نے خود کو خاموش کردیا۔ جب آپ اس پر عمل درآمد کرتے ہیں تو ، کیا عمل ہے؟ میں ایک قسم کا شوقین ہوں کیونکہ بہت سی جگہوں پر بہت سارے ڈیٹا ہوسکتے ہیں۔ تو یہ کس طرح کام کرتا ہے؟

ڈیوڈ کرفورڈ: ہاں ، یقین ہے۔ ہم داخل ہوتے ہیں ، پہلے یہ ہمارے آئی ٹی کے عمل کی طرح ہے جس کو یقینی بنائیں کہ ہمارے سرور کی فراہمی ہے ، یہ یقینی بنانا ہے کہ نیٹ ورک کنیکشن دستیاب ہیں ، بندرگاہیں کھلی ہوئی ہیں تاکہ ہم واقعتا the سسٹم تک رسائی حاصل کرسکیں۔ وہ سب اکثر جانتے ہیں کہ وہ کون سے سسٹم کے ساتھ آغاز کرنا چاہتے ہیں۔ کسی ڈیٹا سسٹم کے بارے میں جاننا ، جو - اور کبھی کبھی ہم در حقیقت ان کی مدد کریں گے۔ ہم ان کے استفسار لاگ پر ابتدائی نظر ڈالنے میں ان کی مدد کریں گے تاکہ یہ سمجھے کہ کون سسٹم میں کون سے اور کتنے صارفین استعمال کررہا ہے۔ لہذا ہم یہ جاننے میں مدد کریں گے کہ - وہ اکثر ، اگر ان کو سیکڑوں یا ہزاروں افراد مل جاتے ہیں جو شاید ڈیٹا بیس میں لاگ ان ہوتے ہیں ، تو وہ اصل میں نہیں جانتے کہ وہ کہاں لاگ ان ہورہے ہیں ، لہذا ہم تلاش کرسکتے ہیں کہ استفسار لاگ ان کرتا ہے کہ آپ نے کتنے انفرادی صارف اکاؤنٹس کو واقعتا log لاگ ان کیا ہے اور ایک ماہ یا اس سے زیادہ عرصہ میں یہاں استفسارات کو عملی جامہ پہنانا ہے۔

تو ہم اس سے فائدہ اٹھا سکتے ہیں ، لیکن اکثر صرف اہم ترین افراد پر۔ ہم ان کو مرتب کرتے ہیں اور پھر یہ کہنے کا عمل ہے کہ "آئیں ترجیح دیں۔" متعدد سرگرمیاں ہوسکتی ہیں جو متوازی طور پر ہوسکتی ہیں۔ میں استفسار کے ٹول کو استعمال کرنے کی تربیت پر توجہ دوں گا۔ ایک بار جب لوگ استفسار کے ٹول کا استعمال شروع کردیں تو ، سب سے پہلے ، بہت سارے لوگ اس حقیقت سے محبت کرتے ہیں کہ یہ ان کے تمام مختلف نظاموں کا صرف ایک ہی انٹرفیس ہے۔ انہیں یہ حقیقت بھی پسند ہے کہ یہ ویب پر مبنی ہے ، اگر وہ نہیں چاہتے ہیں تو ان میں کوئی انسٹال شامل نہیں ہے۔ سیکیورٹی کے نقطہ نظر سے ، وہ کسی کارپوریشن آئی ٹی نیٹ ورک اور ڈیٹا سینٹر کے مابین جہاں پیداوار کے اعداد و شمار کے ذرائع رہتے ہیں ، کے درمیان ، کسی نیٹ ورک کے نقطہ نظر سے ، ایک ہی داخلی نقطہ رکھنے کو پسند کرتے ہیں۔ اور اسی طرح ، وہ ایکلیشن کو ایک استفسار کے آلے کے طور پر مرتب کریں گے اور ان سارے سسٹمز تک رسائی کے نقطہ کے طور پر کمپوز کو استعمال کرنا شروع کریں گے۔

ایک بار جب ایسا ہوتا ہے تو ، جس کی ہم تربیت پر توجہ مرکوز کرتے ہیں ، وہ یہ سمجھ رہا ہے کہ ویب پر مبنی یا سرور پر مبنی استفسار کے آلے کے درمیان آپ کے ڈیسک ٹاپ پر موجود اختلافات میں سے کچھ کیا فرق ہیں ، اور استعمال کرنے کی کچھ خصوصیات کہ اور ساتھ ہی ہم جو کوشش کریں گے وہ سب سے قیمتی اعداد و شمار کی نشاندہی کریں ، ایک بار پھر استفسار لاگ انفارمیشن کا فائدہ اٹھاتے ہوئے ، اور کہا ، "ارے ، آپ شاید اندر جاکر لوگوں کو ان کو سمجھنے میں مدد کریں۔ آئیے ان ٹیبلز پر نمائندہ سوالات کی اشاعت شروع کردیں۔ ”بعض اوقات لوگوں کا جلد بازی کرنے کا یہ بہت مؤثر طریقہ ہے۔ آئیے آپ کی اپنی استفسار کی تاریخ دیکھیں ، ان چیزوں کو شائع کریں تاکہ وہ پہلے سوالات کے بطور ظاہر ہوں۔ جب لوگ کسی ٹیبل پیج کو دیکھتے ہیں ، تو وہ تمام سوالات دیکھ سکتے ہیں جنہوں نے اس ٹیبل کو چھو لیا تھا ، اور وہ وہاں سے شروع ہوسکتے ہیں۔ اور پھر آئیے ان اشیاء میں عنوان اور وضاحت شامل کرنا شروع کریں تاکہ ان کی تلاش اور تلاش آسان ہوجائے ، تاکہ آپ کو اس کے استعمال کرنے کے طریقے کی کچھ تفصیل معلوم ہوسکے۔

ہم اس بات کو یقینی بناتے ہیں کہ استفسار لاگ پر ہم مکمل نگاہ ڈالیں تاکہ ہم نسب پیدا کرسکیں۔ ان چیزوں میں سے ایک ہے جو ہم کرتے ہیں اس وقت ہم استفسار لاگ کا جائزہ لیتے ہیں جب اعداد و شمار ایک ٹیبل سے دوسرے ٹیبل میں منتقل ہوتے ہیں ، اور اس سے ہمیں اعداد و شمار کے جدول کے بارے میں اکثر پوچھے جانے والے سوالات میں سے ایک ڈالنے کی اجازت ملتی ہے ، یہ کہاں سے آیا؟ مجھے اس پر کیسے اعتماد ہے؟ اور اس طرح ہم جو کچھ دکھا سکتے ہیں وہ نہ صرف یہ کہ کون سی دوسری میزیں آئیں ، بلکہ راستے میں اسے کیسے تبدیل کیا گیا۔ ایک بار پھر ، اس طرح کے تقویت کے ذریعہ تقویت یافتہ لاگ ان ہے۔

لہذا ہم اس بات کو یقینی بناتے ہیں کہ وہ چیزیں ترتیب دی گئیں اور یہ کہ ہم سسٹم میں نسب پائے جارہے ہیں ، اور ہم سب سے زیادہ قیمتی اور میٹا ڈیٹا کے انتہائی اعلی درجے کے ٹکڑوں کو نشانہ بنا رہے ہیں جو ہم ٹیبل کے صفحات پر قائم ہوسکتے ہیں ، جب آپ تلاش کریں گے تو آپ کو کچھ کارآمد معلوم ہوگا۔

رابن بلور: ٹھیک ہے۔ دوسرا سوال۔ سامعین کی طرف سے بہت سارے سوالات ہیں ، لہذا میں یہاں زیادہ وقت نہیں اٹھانا چاہتا۔ دوسرا سوال جو ذہن میں آتا ہے وہ ہے ، بس درد کی باتیں۔ بہت سارے سافٹ ویر خریدے گئے ہیں کیونکہ لوگ ، کسی نہ کسی طرح سے ، کسی چیز میں دشواریوں کا سامنا کررہے ہیں۔ تو ، درد کا عام نقطہ کیا ہے جو لوگوں کو اییلیشن کی طرف لے جاتا ہے؟

ڈیوڈ کرفورڈ: ہاں میرے خیال میں کچھ ہیں ، لیکن مجھے لگتا ہے کہ ان لوگوں میں سے ایک جو ہم اکثر سنتے ہیں وہ جہاز پر سوار ہوتا ہے۔ "مجھے قریب قریب میں 10 ، 20 ، 30 افراد کی خدمات حاصل کرنے کی ضرورت ہے جو اس اعداد و شمار سے نئی بصیرت پیدا کرنے والے ہیں ، وہ کس حد تک تیز رفتار سے آگے بڑھیں گے؟" تو تجزیہ کار جہاز پر چلنے والی چیز ہے جو ہم یقینی طور پر حاصل کرتے ہیں نمٹنا۔ اعداد و شمار کے بارے میں دوسرے لوگوں کے سوالات کے جوابات دینے میں سینیئر تجزیہ کاروں کو اپنا سارا وقت صرف کرنے سے بھی فارغ ہوا ہے۔ یہ بھی ایک بہت بار بار ہے۔ اور یہ دونوں بنیادی طور پر تعلیم کے مسائل ہیں۔

اور پھر میں ایک اور جگہ یہ کہوں گا کہ ہم لوگ ایلیشن کو اپناتے ہوئے دیکھتے ہیں جب وہ کسی میں کام کرنے کے لئے بالکل نیا ڈیٹا ماحول تیار کرنا چاہتے ہیں۔ وہ لوگوں کو فائدہ اٹھانے کے ل advertise اس کی داخلی طور پر تشہیر اور مارکیٹنگ کرنا چاہتے ہیں۔ اس کے بعد اس نئے تجزیاتی ماحول کو ایلیشن کا اولین آخر بنانا بہت ہی دلکش ہے۔ اس کو دستاویزات مل گئی ہیں ، اس سے ایک نقطہ تعارف ملا ہے - سسٹم تک رسائی کا ایک نقطہ ، اور اسی طرح یہ ایک اور جگہ ہے جہاں لوگ ہمارے پاس آئیں گے۔

رابن بلور: ٹھیک ہے ، میں آپ کو ربیکا کے پاس بھیج دوں گا کیونکہ سامعین آپ کے پاس جانے کی کوشش کر رہے ہیں۔

ربیکا جوزویق: ہاں ، ہمارے یہاں سامعین سے بہت اچھے سوالات ہیں۔ اور ڈیوڈ ، یہ ایک خاص طور پر آپ کے سامنے پیش کیا گیا تھا۔ یہ کسی ایسے شخص سے ہے جو بظاہر لوگوں کے ساتھ غلط استعمال کرنے والے سوالات کے بارے میں کچھ تجربہ رکھتا ہے ، اور وہ اس قسم کا کہنا ہے کہ ہم صارفین کو جتنا زیادہ طاقتور بناتے ہیں ، کمپیوٹ وسائل کے ذمہ دارانہ استعمال پر حکومت کرنا مشکل ہے۔ تو کیا آپ گمراہ کن لیکن عام استفسار کے فقروں کے پھیلاؤ سے دفاع کرسکتے ہیں؟

ڈیوڈ کرفورڈ: ہاں ، میں یہ سوال دیکھ رہا ہوں۔ یہ ایک بہت بڑا سوال ہے۔ میں نے پچھلی کمپنیوں میں خود تکلیف دیکھی ہے ، جہاں آپ کو صارفین کو تربیت دینے کی ضرورت ہے۔ مثال کے طور پر ، "یہ ایک لاگ ٹیبل ہے ، اس میں سالوں سے لاگ آرہے ہیں۔ اگر آپ اس ٹیبل پر کوئی سوال لکھنے جارہے ہیں تو ، آپ کو تاریخ کے لحاظ سے واقعی حد کرنی ہوگی۔ ”لہذا ، مثال کے طور پر ، یہ ایک ایسی تربیت ہے جس سے قبل میں نے ایک ڈیٹا بیس تک رسائی حاصل کرنے سے پہلے پچھلی کمپنی میں گذاری تھی۔

ہمارے پاس کچھ راستے ہیں جن کی نشاندہی کرنے کی کوشش کرتے ہیں۔ میں کہوں گا کہ میرے خیال میں استفسار لاگ ڈیٹا اس کو حل کرنے کے لئے واقعی انوکھا قیمتی ہے۔ یہ ڈیٹا بیس اس کے استفسار کے منصوبہ ساز کے ساتھ اندرونی طور پر کیا کرتا ہے کے مقابلے میں ایک اور بصیرت فراہم کرتا ہے۔ اور ہم کیا کرتے ہیں ، ان مداخلتوں میں سے ایک ہے - ہمارے پاس دستی مداخلتیں ہیں جو میں نے ظاہر کیں ، اور یہ مفید ہے ، ٹھیک ہے؟ لہذا کسی خاص شمولیت پر ، مثال کے طور پر ، آپ یہ کہہ سکتے ہیں ، "آئیے اس کو فرسودہ کریں۔" جب یہ سمارٹ تجویز میں دکھائے گا تو اس میں سرخ رنگ کا بڑا جھنڈا ہوگا۔ تو لوگوں تک پہنچنے کی کوشش کرنے کا یہ ایک طریقہ ہے۔

ایک اور چیز جو ہم کرتے ہیں وہ ہے ، عمل آوری کے وقت مداخلتوں پر خودکار۔ یہ دیکھنے کے ل the چلانے سے پہلے درحقیقت اس سوال کا پارس درخت استعمال کریں گے ، کیا اس میں ایک خاص فلٹر یا کچھ دوسری چیزیں شامل ہیں جو ہم وہاں بھی کرتے ہیں۔ لیکن ایک انتہائی قیمتی اور آسان سمجھنے والا ایک ہے ، کیا اس میں فلٹر شامل ہے؟ اس مثال کی طرح ، میں نے ابھی یہ مثال دی تھی ، اگر اس لاگ ٹیبل پر ، اگر آپ اس سے استفسار کرنے جارہے ہیں تو ، آپ کی تاریخ کی حد ہوسکتی ہے ، آپ وہاں ٹیبل پیج میں یہ بیان کرسکتے ہیں کہ آپ اس تاریخ کی حد کے فلٹر کو لازمی قرار دیتے ہیں۔ اگر کوئی کوئ استفسار چلانے کی کوشش کرتا ہے جس میں اس فلٹر کو شامل نہیں ہے تو ، یہ حقیقت میں انہیں ایک بڑی انتباہ کے ساتھ روک دے گا ، اور یہ کہے گا ، "آپ کو شاید کچھ ایس کیو ایل شامل کرنا چاہئے جو آپ کے سوال میں اس طرح نظر آتا ہے۔" وہ جاری رکھ سکتے ہیں اگر وہ چاہتے ہیں. ہم واقعی ان پر اس پر مکمل پابندی عائد کرنے والے نہیں ہیں - یہ بھی ایک سوال ہے ، دن کے اختتام پر ، سوالات چلائیں۔ لیکن ہم نے ان کے سامنے ایک بہت بڑی رکاوٹ ڈال دی ہے اور ہم ان کی کارکردگی کو بہتر بنانے کے ل the استفسار میں ترمیم کرنے کے لئے ایک قابل عمل تجویز مشورہ دیتے ہیں۔

ہم اصل میں یہ بھی کرتے ہیں کہ کچھ معاملات میں خود بخود استفسار لاگ کو دیکھنے کے بعد۔ اگر ہم دیکھتے ہیں کہ اس ٹیبل پر واقع سوالات کی کچھ بڑی تعداد کسی خاص فلٹر یا کسی خاص شامل ہونے کی شق کا فائدہ اٹھاتی ہے تو ہم واقعتا pop اس کو پاپ کردیں گے۔ ہم اس کی مداخلت کو فروغ دیں گے۔ دراصل ، یہ میرے ساتھ اندرونی ڈیٹا سیٹ پر ہوا۔ ہمارے پاس کسٹمر کا ڈیٹا ہے اور ہمارے پاس صارف کی شناخت ہے ، لیکن صارف کا شناختی سیٹ ہے ، چونکہ اس طرح کی ہے - ہمارے پاس ہر صارف کے صارف کی شناخت ہوتی ہے۔ یہ انوکھا نہیں ہے ، لہذا آپ کو انوکھا شامل ہونے کی کلید حاصل کرنے کے لئے اسے کلائنٹ کی شناخت کے ساتھ جوڑنا ہوگا۔ اور میں استفسار لکھ رہا تھا اور میں نے کسی چیز کا تجزیہ کرنے کی کوشش کی اور اس نے پاپ اپ کیا اور کہا ، "ارے ، لگتا ہے کہ ہر کوئی ان جدولوں میں کلائنٹ کی شناخت اور صارف کی شناخت دونوں کے ساتھ شامل ہوتا ہے۔ کیا آپ واقعی میں یہ کرنا نہیں چاہتے ہیں؟ “اور حقیقت میں اس نے مجھے کچھ غلط تجزیہ کرنے سے روک دیا۔ لہذا یہ تجزیہ کی درستگی کے ساتھ ساتھ کارکردگی دونوں کے لئے بھی کام کرتا ہے۔ تو اس قسم کی ہے کہ ہم اس مسئلے کو کس طرح اٹھاتے ہیں۔

ربیکا جوزویق: ایسا لگتا ہے کہ وہ میرے لئے موثر ہے۔ آپ نے کہا تھا کہ آپ ضروری نہیں کہ لوگوں کو وسائل کو اکٹھا کرنے سے روکیں ، لیکن طرح طرح کی باتیں انھیں سکھائیں کہ وہ جو کررہے ہیں وہ بہترین نہیں ہوگا ، ٹھیک ہے؟

ڈیوڈ کرورفورڈ: ہم ہمیشہ یہ فرض کرتے ہیں کہ صارف بدنیتی پر مبنی نہیں ہیں - انھیں عمدہ ارادے دیں - اور ہم کوشش کرتے ہیں کہ اس طرح سے بہت کھلا ہو۔

ربیکا جوزویق: ٹھیک ہے۔ ایک اور سوال یہ ہے کہ: کیٹلاگ مینیجر کے درمیان کیا فرق ہے ، جیسے آپ کے حل ، اور MDM ٹول کی طرح؟ یا کیا یہ در حقیقت استفساراتی میزوں کے انتخاب کو وسیع کرکے مختلف پرنسپل پر انحصار کرتا ہے ، جبکہ MDM خود بخود یہ کام کرتا ہے ، لیکن میٹا ڈیٹا اکٹھا کرنے کے اسی بنیادی اصول کے ساتھ۔ "

ڈیوڈ کرفورڈ: ہاں ، مجھے لگتا ہے کہ جب میں روایتی MDM حلوں کو دیکھتا ہوں ، تو بنیادی فرق ایک فلسفیانہ ہوتا ہے۔ یہ سب کے بارے میں ہے کہ صارف کون ہے۔ ای میل کی طرح ، جیسے میں نے اپنی پیش کش کے آغاز میں کہا تھا ، میرے خیال میں ، جب ہماری بنیاد رکھی گئی تھی ، ہماری بنیاد اس مقصد کے ساتھ رکھی گئی تھی کہ تجزیہ کاروں کو زیادہ سے زیادہ بصیرت پیدا کرنے ، انھیں تیز تر پیدا کرنے ، ان بصیرتوں میں زیادہ درست ہونے کے قابل بنایا جائے کی پیداوار. مجھے نہیں لگتا کہ یہ کبھی بھی روایتی MDM حل کا ہدف رہا ہے۔ ان حلوں کا اہتمام ان لوگوں کی طرف ہوتا ہے جنھیں ایسی رپورٹیں پیش کرنے کی ضرورت ہوتی ہے کہ کسی طرح کے آڈیٹنگ مقصد کے لئے ایس سی سی کو داخلی طور پر کیا ڈیٹا لیا گیا ہے۔ یہ بعض اوقات تجزیہ کاروں کو اہل بناتا ہے ، لیکن یہ اکثر ہوتا ہے ، اگر یہ کسی پریکٹیشنر کو اپنے کام میں قابل بناتا ہے تو ، ڈی بی اے جیسے ڈیٹا آرکیٹیکٹ کے اہل ہونے کا زیادہ امکان ہوتا ہے۔

جب آپ کسی تجزیہ کار کے نقطہ نظر سے چیزوں کے بارے میں سوچتے ہیں تو ، اس وقت جب آپ کوئی استفسار ٹول بنانا شروع کریں جو MDM ٹول کبھی نہیں کرے گا۔ اس وقت جب آپ کارکردگی کے ساتھ ساتھ درستگی کے بارے میں بھی سوچنا شروع کریں ، اور ساتھ ہی یہ بھی سمجھنا کہ میرے کاروبار کی ضرورت سے متعلق ڈیٹا سے کیا تعلق ہے۔ وہ ساری چیزیں ایسی چیزیں ہیں جو ٹول کو ڈیزائن کرتے وقت ہمارے ذہنوں میں پاپ ہوتی ہیں۔ یہ ہماری تلاش کے الگورتھم میں جاتا ہے ، یہ کیٹلاگ کے صفحات کی ترتیب اور تنظیم کے چاروں طرف سے تعاون میں حصہ لینے کی صلاحیت میں جاتا ہے۔ یہ اس حقیقت میں جاتا ہے کہ ہم نے استفسار کا آلہ تیار کیا ہے اور ہم نے اس میں براہ راست کیٹلاگ بنایا ہے ، لہذا میرے خیال میں یہ واقعی اسی میں سے ہے۔ آپ کے صارف کے ذہن میں پہلا استعمال کیا ہے؟

ربیکا جوزویق: ٹھیک ہے ، اچھا ہے۔ اس نے واقعی اس کی وضاحت کرنے میں مدد کی۔ جو آرکائیوز کو روکنے کے لئے مر رہا تھا کیونکہ اسے چھوڑنا پڑا تھا ، لیکن وہ واقعتا really اس کے سوال کا جواب چاہتا تھا۔ انہوں نے کہا کہ شروع میں یہ ذکر کیا گیا تھا کہ متعدد زبانیں موجود ہیں ، لیکن کیا ایس کیو ایل کمپوز اجزاء کے اندر واحد زبان مستعمل ہے؟

ڈیوڈ کرفورڈ: ہاں ، یہ سچ ہے۔ اور ایک چیز جس پر میں نے دیکھا ہے ، جیسا کہ میں نے مختلف نوعیت کے ڈیٹا بیس ، دستاویزات کے ڈیٹا بیس ، گراف ڈیٹا بیس ، کلیدی ویلیو اسٹورز کے دھماکے کا مشاہدہ کیا ہے ، وہ یہ ہے کہ وہ واقعی اطلاق کی ترقی کے ل powerful طاقتور ہیں۔ وہ خاص ضرورتوں کو واقعتا well بہتر طریقے سے ، نسبتہ ڈیٹا بیس سے بہتر طریقے سے انجام دے سکتے ہیں۔

لیکن جب آپ اسے اعداد و شمار کے تجزیہ پر واپس لاتے ہیں ، جب آپ اسے واپس لاتے ہیں - جب آپ اس معلومات کو ان لوگوں کو فراہم کرنا چاہتے ہیں جو اعداد و شمار میں ایڈہاک رپورٹنگ کرنے یا ایڈہاک کی کھدائی کرنے جارہے ہیں ، کہ وہ ہمیشہ ہی کسی رشتے دار پر واپس آجاتے ہیں۔ ، کم از کم ، انسانوں کے لئے انٹرفیس. اس کا ایک حصہ صرف اس وجہ سے ہے کہ ایس کیو ایل ڈیٹا انیلیسیس کا لینگوا فرینکا ہے ، لہذا اس کا مطلب ہے ، انسانوں کے لئے ، یہ ان ٹولز کے لئے بھی ہے جو متحد ہوتے ہیں۔ میرے خیال میں یہی وجہ ہے کہ ہڈوپ پر ایس کیو ایل بہت مقبول ہے اور اس کو حل کرنے کی بہت ساری کوششیں ہو رہی ہیں ، کیوں کہ دن کے اختتام پر ، یہی بات لوگ جانتے ہیں۔ شاید لاکھوں افراد موجود ہیں جو ایس کیو ایل لکھنا جانتے ہیں ، اور میں ان لاکھوں افراد کو نہیں ڈھونڈوں گا جو مونگو ایگریگیشن پائپ لائن فریم ورک کے سوال کو لکھنا جانتے ہیں۔ اور یہ کہ یہ ایک معیاری زبان ہے جو واقعی وسیع اقسام کے پلیٹ فارمز میں انضمام کے لئے استعمال ہوتی ہے۔ تو یہ سب کچھ ، ہم نے شاذ و نادر ہی اس سے باہر جانے کو کہا کیوں کہ یہ وہ انٹرفیس ہے جو اکثر تجزیہ کار استعمال کرتے ہیں ، اور یہ وہ جگہ ہے جہاں ہم نے خاص طور پر کمپوز میں توجہ مرکوز کی ہے جس پر ہم ایس کیو ایل لکھنے پر توجہ مرکوز کرتے ہیں۔

میں کہوں گا کہ ڈیٹا سائنس ہی وہ جگہ ہے جہاں وہ زیادہ سے زیادہ ترقی کرتے ہیں ، اور اس لئے ہم سور یا ایس اے ایس کے استعمال کے بارے میں کبھی کبھار سوالات اٹھاتے ہیں۔ یہ وہ چیزیں ہیں جن کو ہم یقینی طور پر کمپوز میں نہیں سنبھالتے ہیں ، اور یہ کہ ہم کیٹلاگ میں گرفت کرنا چاہتے ہیں۔ اور میں آر اور پائتھون کو بھی دیکھ رہا ہوں۔ ہمارے پاس متعدد طریقے ہیں کہ ہم نے انٹرفیس بنائے ہیں کہ آپ آر اور پائی تھون اسکرپٹ کے اندر ایلیشن میں لکھے گئے سوالات کو استعمال کرسکتے ہیں ، لہذا ، جب سے آپ اکثر ڈیٹا سائنسدان ہوتے ہیں اور آپ اسکرپٹنگ کی زبان میں کام کر رہے ہیں تو ، ماخذ ڈیٹا ایک رشتہ دار ڈیٹا بیس میں ہے۔ آپ ایس کیو ایل کے استفسار کے ساتھ شروع کرتے ہیں اور پھر آپ اس پر مزید کارروائی کرتے ہیں اور آر اور پائی تھان کے اندر گراف بناتے ہیں۔ اور ہم نے ایسے پیکیج بنائے ہیں جو آپ ان اسکرپٹس میں درآمد کرسکتے ہیں جو ایلیشن سے سوالات یا استفسار کے نتائج کو کھینچتی ہیں تاکہ آپ کی طرح وہاں ملاوٹ والا ورک فلو ہوسکے۔

ربیکا جوزویق: ٹھیک ہے ، بہت اچھا ہے۔ میں جانتا ہوں کہ ہم نے اس وقت کے اوپری حصے سے تھوڑا سا دور گذارے ہیں ، میں صرف ایک یا دو اور سوالات پوچھنے جا رہا ہوں۔ میں جانتا ہوں کہ آپ نے ان تمام مختلف سسٹموں کے بارے میں بات کی ہے جن سے آپ جڑ سکتے ہیں ، لیکن جہاں تک بیرونی طور پر میزبان اعداد و شمار اور اندرونی طور پر میزبان اعداد و شمار کے بارے میں بات کی جاسکتی ہے تو کیا آپ کو اپنے ایک پلیٹ فارم میں آپ کے واحد نظریے میں مل کر تلاش کیا جاسکتا ہے؟

ڈیوڈ کرفورڈ: ضرور ایسا کرنے کے کچھ طریقے ہیں۔ میرا مطلب ہے ، بیرونی طور پر میزبانی کی گئی ، میں تصور کروں گا ، میں اس کے بارے میں سوچنے کی کوشش کر رہا ہوں کہ اس کا کیا مطلب ہوسکتا ہے۔ اس کا مطلب ایک ڈیٹا بیس ہوسکتا ہے کہ کوئی آپ کے لئے AWS میں میزبانی کر رہا ہے۔ اس کا مطلب ڈیٹا.gov سے عوامی اعداد و شمار کا ذریعہ ہوسکتا ہے۔ ہم ڈیٹا بیس کے ساتھ کسی اور ایپلیکیشن کی طرح لاگ ان ہوکر ڈیٹا بیس سے براہ راست جڑ جاتے ہیں ، اور اسی طرح ہم میٹا ڈیٹا نکالتے ہیں۔ لہذا اگر ہمارا اکاؤنٹ ہے اور ہمارے پاس نیٹ ورک پورٹ کھلا ہے تو ہم اس تک پہنچ سکتے ہیں۔ اور پھر جب ہمارے پاس وہ چیزیں نہیں ہیں تو ہمارے پاس ورچوئل ڈیٹا سورس نامی کوئی چیز ہے ، جو آپ کو لازمی طور پر دستاویزات کو آگے بڑھانے کی اجازت دیتی ہے ، چاہے خود بخود ، آپ خود اپنا کنیکٹر لکھ کر ، یا CSV اپ لوڈ کی طرح کرکے بھی ، آپ کے داخلی ڈیٹا کے ساتھ ساتھ ڈیٹا کو دستاویز کرنا۔ یہ سب سرچ انجن میں ڈال دیا جاتا ہے۔ یہ نظام کے اندر مضامین اور دیگر دستاویزات اور گفتگو کے اندر قابل ذکر بن جاتا ہے۔ جب ہم کسی سسٹم سے براہ راست رابطہ نہیں کرسکتے تو ہم اس طرح ہینڈل کرتے ہیں۔

ربیکا جوزویق: ٹھیک ہے ، اس سے کوئی معنی نہیں آتا۔ میں صرف آپ کے سامنے ایک اور سوال کروں گا۔ ایک شریک ہے یہ پوچھنا ، "ڈیٹا کیٹلاگ کے مواد کو کس طرح درست ، توثیق یا برقرار رکھنا چاہئے ، کیوں کہ ماخذ کے ڈیٹا کو اپ ڈیٹ کیا جاتا ہے ، کیوں کہ ماخذ کے ڈیٹا میں ترمیم کی جاتی ہے۔"

ڈیوڈ کرفورڈ: ہاں ، یہ ایک سوال ہے جس سے ہمیں بہت کچھ ملتا ہے ، اور میں سوچتا ہوں کہ ہم ان چیزوں میں سے ایک ہیں - جو ہمارے بیانات میں سے ایک ہے ، جیسا کہ میں نے کہا ، ہمیں یقین نہیں ہے کہ استعمال کنندہ بدنیتی پر مبنی ہیں۔ ہم فرض کرتے ہیں کہ وہ بہترین علم میں حصہ ڈالنے کی کوشش کر رہے ہیں۔ وہ ڈیٹا کے بارے میں جان بوجھ کر لوگوں کو گمراہ نہیں کریں گے۔ اگر آپ کی تنظیم میں یہ مسئلہ ہے تو ، ہوسکتا ہے کہ اییلیشن آپ کے لئے صحیح ٹول نہیں ہے۔ لیکن اگر آپ صارفین کے اچھtionsے ارادے کو فرض کرتے ہیں تو ، پھر ہم اس کے بارے میں کچھ ایسا ہی سوچتے ہیں ، جہاں تازہ ترین معلومات آتی ہیں ، اور پھر عام طور پر ہم کیا کرتے ہیں ہم ہر ڈیٹا آبجیکٹ یا اعداد و شمار کے ہر حصے کا انچارج انچارج رکھنا چاہتے ہیں۔ اور جب ہم میٹا ڈیٹا میں تبدیلیاں لیتے ہیں تو ہم ان ذمہ داروں کو مطلع کرسکتے ہیں اور وہ اسے اس طرح سنبھال سکتے ہیں۔ وہ دیکھتے ہیں کہ تازہ کارییں آتی ہیں ، وہ انہیں درست کرتے ہیں۔ اگر وہ ٹھیک نہیں ہیں تو ، وہ واپس جاسکتے ہیں اور ان میں ترمیم کرسکتے ہیں اور جانکاری دے سکتے ہیں ، اور امید ہے کہ اس صارف تک پہنچ سکتے ہیں جنہوں نے معلومات میں حصہ لیا اور سیکھنے میں ان کی مدد کریں۔

تو ہم اس کے بارے میں سوچنے کا بنیادی طریقہ ہے۔ اسٹیوڈرز کے ذریعہ ہجوم اور انتظامیہ کی جانب سے اس طرح کی تجاویز ، لہذا ہمارے آس پاس کچھ صلاحیتیں ہیں۔

ربیکا جوزویق: ٹھیک ہے ، اچھا ہے۔ اور اگر آپ لوگوں کو صرف یہ بتادیں کہ وہ اییلیشن کے ساتھ بہترین آغاز کیسے کرسکتے ہیں ، اور وہ مزید معلومات حاصل کرنے کے لئے خاص طور پر کہاں جاسکتے ہیں۔ میں جانتا ہوں کہ آپ نے اس میں کچھ حصہ لیا تھا۔ کیا یہ بہترین جگہ ہے؟

ڈیوڈ کرورفورڈ: اییلیشن.com/ لارنمور میرے خیال میں یہ ایک زبردست راستہ ہے۔ ایک ڈیمو کے لئے سائن اپ کرنے کے لlation ، ایلیشن ڈاٹ کام سائٹ کے پاس بہت سارے وسائل ، کسٹمر وائٹ پیپرز ، اور ہمارے حل سے متعلق خبریں ہیں۔ تو مجھے لگتا ہے کہ شروع کرنے کے لئے یہ ایک عمدہ جگہ ہے۔ آپ ای میل بھی کرسکتے ہیں۔

ربیکا جوزویق: ٹھیک ہے ، بہت اچھا ہے۔ اور میں جانتا ہوں ، شرکاء ، افسوس اگر مجھے آج کے تمام سوالات نہیں ملتے ہیں ، لیکن اگر ایسا نہیں ہوتا ہے تو ، وہ ڈیوڈ یا اس کی سیلز ٹیم یا ایلیس میں کسی کو بھیج دیئے جائیں گے ، لہذا وہ یقینی طور پر آپ کے سوالات کے جوابات دینے اور سمجھنے میں مدد کرسکتے ہیں اییلیشن کیا کرتا ہے یا وہ کیا بہتر کرتے ہیں۔

اور اس کے ساتھ ، لوگوں ، میں آگے جاؤں گا اور ہمیں دستخط کردوں گا۔ آپ ہمیشہ محفوظ دستاویزات InsideAnalysis.com پر تلاش کرسکتے ہیں۔ آپ اسے ٹیکوپیڈیا ڈاٹ کام پر بھی تلاش کرسکتے ہیں۔ وہ ذرا جلدی اپ ڈیٹ کرتے ہیں ، لہذا یقینی طور پر اسے چیک کریں۔ اور آج ڈیوڈ کرفورڈ ، ڈیز بلوچفیلڈ اور رابن بور کا بہت بہت شکریہ۔ یہ ایک بہت اچھا ویب کاسٹ رہا ہے۔ اور اس کے ساتھ ، میں آپ کو الوداع کروں گا۔ شکریہ ، لوگوں خدا حافظ.

ڈیوڈ کرفورڈ: آپ کا شکریہ۔