بڑے اعداد و شمار کا ارتقاء

2000 کی دہائی کے اوائل میں ، یہ واضح تھا کہ اعداد و شمار کے حوالے سے بدعت کی بہت ضرورت ہے۔ کمپنیاں اپنے اعداد و شمار سے مایوس کن ایگزیکٹوز کے ساتھ کیا کر سکتی ہیں اس کی حدود اور کارکردگی میں زبردست کمی واقع ہوئی۔ بہت سی کمپنیوں نے بڑے پیمانے پر معلومات ذخیرہ کیں ، لیکن ان کا فائدہ اٹھانے کے ل manage اس کا انتظام ، تجزیہ یا جوڑ توڑ میں آسانی سے قاصر تھے۔ یہ بڑھتا ہوا دباؤ ہی ہے جس نے بڑے ڈیٹا فرنٹیئر کو راستہ فراہم کیا۔

2003 میں ، گوگل نے میپریڈوسیس تیار کیا ، ایک ایسا ڈیٹا ایپلی کیشن جس نے فرم کو تھوڑے ہی عرصے میں ہزاروں سرورز میں اپنی تلاش کے سوالات کے بارے میں معلومات پر کارروائی اور ان کا تجزیہ کرنے کی اجازت دی۔ توسیع پذیر اور قابل تطبیق دونوں ، پروگرام نے گوگل کو محض منٹ میں اعداد و شمار کے ہزاروں کام انجام دینے کی اجازت دی ، جس سے پیداوری میں بہتری آئی اور اعداد و شمار کے ساتھ کیا کیا جاسکتا ہے اس کے بارے میں سمجھی جانے والی حدوں کو نئی شکل دی۔ تقریبا 10 سال بعد ، بڑا ڈیٹا انفارمیشن ٹکنالوجی کا مرکزی اصول بن گیا ہے۔ اس کے دور رس دائرہ کار اور قابلیت نے کام کی جگہ پر ڈیٹا مینجمنٹ کو بنیادی طور پر تبدیل کردیا ہے۔ لیکن اس ارتقا کو کس چیز نے اکسایا اور بڑے اعداد و شمار مستقبل پر کس طرح اثرانداز ہوں گے؟ ہم نے سوچا کہ آپ کبھی نہیں پوچھیں گے۔ (بڑے اعداد و شمار پر کچھ پس منظر کے مطالعہ کے ل Big ، بگ ڈیٹا کو چیک کریں: اس کو کس طرح پکڑا جاتا ہے ، کس طرح چھوٹا جاتا ہے اور کاروباری فیصلے کرنے میں کس طرح استعمال ہوتا ہے۔)

بگ ڈیٹا سوالات کے جوابات تلاش کرنا

انتہائی پیچیدہ کاموں کو آسان بنانے کے لئے میپریڈس کی خوبصورتی کا طریقہ تھا۔ مواصلات کا انتظام مشینوں میں کیا جاسکتا ہے ، سسٹم کی ناکامیوں کو دور کیا جاسکتا ہے اور ان پٹ ڈیٹا خودبخود ترتیب دیا جاسکتا ہے ، ایسا عمل جس کی نگرانی ان افراد کر سکتے ہیں جنہیں اب انتہائی تکنیکی مہارت کی ضرورت نہیں ہے۔ ڈیٹا پروسیسنگ کو نہ صرف ممکن بلکہ قابل رسائی بنانے کے ذریعہ ، گوگل نے ڈیٹا مینجمنٹ میں ثقافتی تبدیلی کی ترغیب دی۔ ابھی زیادہ وقت نہیں گزرا تھا کہ ہزاروں بڑی تعداد میں کمپنیوں نے اپنے اعداد و شمار کے لئے میپریڈس کا استعمال کیا۔

لیکن ایک مسئلہ تھا: میپریڈوس صرف ایک پروگرامنگ ماڈل تھا۔ اگرچہ اس نے ڈیٹا پروسیسنگ کی بنیادی باتوں میں سہولت فراہم کی ہے ، لیکن یہ خود اعداد و شمار کی کوتاہیوں کا جواب نہیں تھا۔ یہ صحیح سمت میں صرف ایک انتہائی ضروری اقدام تھا۔ کارپوریشنوں کو ابھی بھی ایسے سسٹم کی ضرورت تھی جو ان کی انفرادی اعداد و شمار کی ضروریات کو پورا کر سکے اور ڈیٹا مینجمنٹ کی ننگی اشیا سے آگے بڑھ سکے۔ مختصرا ev ، اس ٹیکنالوجی کو تیار کرنے کی ضرورت ہے۔

ہڈوپ درج کریں

ہڈوپ درج کریں ، ایک اوپن سورس فریم ورک سافٹ ویئر جو متعدد پروگرامرز کے ذریعہ تیار کیا گیا ہے ، جس میں ڈوگ کٹنگ بھی شامل ہے۔ جہاں میپریڈوس بنیادی اور وسیع تھا ، ہڈوپ نے ایک تازگی کی صداقت فراہم کی۔ کمپنیاں اپنی مرضی کے مطابق تیار کردہ ایپلی کیشنز ڈیزائن کرسکتی ہیں جس میں ڈیٹا کی ضروریات کو اس طرح سے حل کیا جاتا ہے کہ کوئی دوسرا سافٹ ویئر نہیں کرسکتا ہے ، اور یہ عام طور پر دوسرے فائل سسٹم کے ساتھ مطابقت رکھتا تھا۔ باصلاحیت پروگرامرز پر مشتمل ایک فرم ایک ایسا فائل سسٹم ڈیزائن کرسکتی ہے جو اعداد و شمار کے ساتھ انفرادی کاموں کو حاصل کرے گی جو پہلے ناقابل رسائی دکھائی دیتا تھا۔ ممکنہ طور پر اس کے بارے میں سب سے اچھی بات یہ تھی کہ ڈویلپرز ایک دوسرے کے درمیان ایپلی کیشنز اور پروگراموں کا اشتراک کرتے جس کی وضاحت اور کمال کی جاسکتی ہے۔

اس طرح کے اہم وسائل کو جمہوری بنانے سے ہیدوپ ایک رجحان بن گیا۔ بہر حال ، بہت ساری بڑی کارپوریشنوں ، خاص طور پر سرچ انجن فرموں نے محسوس کیا کہ انہیں کئی دہائیوں سے اس کی ضرورت ہے! اس سے زیادہ لمبا عرصہ نہیں گزرا تھا کہ یاہو جیسے سرچ انجن جنات بڑی ہڈوپ ایپلی کیشنز کے نفاذ کا اعلان کر رہے تھے جس سے ویب سرچ کے سوالات میں استعمال ہونے والا ڈیٹا تیار ہوتا ہے۔ لہر کی طرح لگتا تھا ، متعدد ممتاز کمپنیوں نے اپنے بڑے ڈیٹا بیس ، جس میں فیس بک ، ایمیزون ، فاکس ، ایپل ، ای بے اور فور سکوئر شامل ہیں ، کے لئے اس ٹیکنالوجی کو اپنانے کا اعلان کیا۔ ہڈوپ نے ڈیٹا پروسیسنگ کے لئے نیا معیار قائم کیا۔

بڑا ڈیٹا ، بڑی مشکلات

اگرچہ ڈیٹا ٹکنالوجی میں ہونے والی پیشرفت نے کمپنیوں کے اعداد و شمار کے طریقے کو تبدیل کیا ہے ، لیکن بہت سارے ایگزیکٹو انھیں مطلوبہ کاموں کی پوری حد کے ل une غیر تسلی بخش پاتے ہیں۔ جولائی 2012 میں ، اوریکل نے 300 سے زیادہ سی سطح کے ایگزیکٹوز کا ایک سروے جاری کیا ، جس نے انکشاف کیا ہے کہ 36 فیصد کمپنیاں ڈیٹا کو سنبھالنے اور تجزیہ کرنے کے لئے آئی ٹی پر انحصار کرتی ہیں ، ان میں سے 29 فیصد کو لگتا ہے کہ ان کے سسٹم اپنی کمپنیوں سے ملنے کے لئے کافی صلاحیتوں کا فقدان رکھتے ہیں۔ ضروریات ممکنہ طور پر اس مطالعے کی سب سے حیرت انگیز تلاش یہ ہوئی کہ 93 فیصد جواب دہندگان کا خیال ہے کہ جمع شدہ اعداد و شمار کو استعمال کرنے کے قابل نہ ہونے پر ان کی فرم اپنی 14 فیصد آمدنی سے محروم ہو رہی ہے۔ یہ وہ محصول ہے جو بہتر مصنوعات بنانے اور زیادہ سے زیادہ کارکنوں کی خدمات حاصل کرنے پر خرچ کیا جاسکتا ہے۔ ایسے وقت میں جب کمپنیاں منافع بخش رہنے کے لئے جدوجہد کر رہی ہیں ، اعداد و شمار میں بہتری لائیں تاکہ فرمیں زیادہ منافع بخش بن سکیں ، یہ ایک ضرورت ہے۔ سروے سے ظاہر ہوتا ہے کہ ان لوگوں کے باوجود جو یقین کرتے ہیں کہ تجارت پر بڑے اعداد و شمار کا اثر پہلے ہی گزر چکا ہے ، اس کے پاس ترقی اور ترقی کے مواقع ابھی پوری طرح سے پوری نہیں ہوسکے ہیں۔

مستقبل میں بگ ڈیٹا کا کیا حامل ہے

اچھی خبر یہ ہے کہ ہڈوپ اور میپریڈوسیس نے ڈیٹا مینجمنٹ کے بہت سے دوسرے آلات کو متاثر کیا ہے۔ بہت سی نئی کمپنیاں وسیع ڈیٹا پلیٹ فارم تیار کررہی ہیں جو ہڈوپ پر چلتی ہیں ، لیکن تجزیاتی افعال اور آسان نظام انضمام کی وسیع صف پیش کرتی ہیں۔ ایسا لگتا ہے کہ کارپوریشنوں نے اعداد و شمار کے خدشات کو دور کرنے میں وسائل کی ایک بڑی رقم کی سرمایہ کاری کی ہے اور ڈیٹا فرموں کی مالی کامیابی اس کا ثبوت ہے۔ 2010 میں ، ڈیٹا فرموں نے خوردہ فروخت میں تخمینہ $ 3.2 بلین ڈالر بنائے۔ بہت سارے ماہرین نے اندازہ لگایا ہے کہ صرف سال 2015 تک یہ تعداد بڑھ کر 17 ارب ڈالر ہوجائے گی۔ یہ ایک ایسی حقیقت ہے جو کچھ بڑی تکنالوجی کمپنیوں سے نہیں ہاری ہے۔ آئی بی ایم اور اوریکل دونوں ڈیٹا فرموں کے حصول کے لئے پچھلے کئی مہینوں میں اربوں خرچ کرچکے ہیں۔ بہت ساری دیگر فرمیں آنے والے سالوں میں بھی ایسی ہی حرکتیں کریں گی جب وہ مسابقتی مارکیٹ میں حصہ لیتے رہیں۔

بگ ڈیٹا فرنٹیئر

جمع کردہ اعداد و شمار کی مقدار میں تیزی سے اضافہ ہوتا جارہا ہے ، جس سے کچھ پریشان اور دوسرے پرجوش ہیں۔ اس کا الٹا یہ ہے کہ ہم اعداد و شمار کے تجزیے کے ذریعے اپنی دنیا کے بارے میں نئی ​​چیزیں سیکھنے کے ساتھ ہی انسان مزید پیداواری اور انکولی بنتا رہے گا۔ منفی پہلو یہ ہے کہ ڈیٹا کی اتنی وسیع مقدار موجود ہے کہ بہت سے لوگوں کو خدشہ ہے کہ ہم اس سب کو مناسب طریقے سے اسٹور کرنے سے قاصر ہیں ، بہت کم مناسب طریقے سے اس کا نظم و نسق کریں تاکہ اسے جو بھی ضرورت ہو اسے استعمال کرسکیں۔

اس نے کہا ، بڑے اعداد و شمار میں پیشرفت ڈیٹا سے متعلق ہنگامی مسائل کے حل کے لئے بے مثال مواقع فراہم کرسکتی ہے۔ مثال کے طور پر ، ماہرین نے مشورہ دیا ہے کہ اگر کارکردگی اور معیار پر زور دینے کے ساتھ اگر بڑے اعداد و شمار کو صحیح طریقے سے نافذ کیا گیا تو ، اس سے صرف صحت کی دیکھ بھال کے اخراجات میں ہر سال 300 بلین ڈالر کی بچت ہوسکتی ہے۔ خوردہ فروش اپنے آپریٹنگ مارجن کو بہتر بنا سکیں گے ، عوامی شعبہ بہتر خدمات مہیا کرسکے گا اور بڑے کاروباری اداروں سے اربوں کی بچت ہوگی۔ اور اس طرح ، ایسا لگتا ہے کہ ہمارے ڈیٹا کے مسائل کو حل کرنے کی ضرورت صرف کمپنی کے بورڈ رومز میں ہی نہیں ، بلکہ ہر جگہ موجود ہے۔ جو بڑے اعداد و شمار کے مستقبل کے بارے میں اچھی باتیں کہتا ہے - اور شاید ہمارے بھی۔