کون سے حالات بگ ڈیٹا ماحولیاتی نظام کے عروج کا باعث بنے؟

سوال:

کون سے حالات بگ ڈیٹا ماحولیاتی نظام کے عروج کا باعث بنے؟

بہت سارے عوامل ہیں جنہوں نے آج کے بڑے ڈیٹا ایکو سسٹم کے ظہور میں اہم کردار ادا کیا ، لیکن عام اتفاق رائے ہے کہ ہارڈ ویئر اور سوفٹویئر ڈیزائنوں کی ایک حد کی وجہ سے بڑے اعداد و شمار سامنے آئے جس نے صرف بڑے اعداد و شمار کو وجود میں رکھنے کی اجازت دی۔

بڑے اعداد و شمار کی روایتی تعریف کچھ اس طرح ہے: ڈیٹا سیٹ جو کافی زیادہ بڑے اور پیچیدہ ہیں کہ وہ آسانی سے چلنے والے انتظام ، یا انتظام کو ہاتھ سے روکتے ہیں۔ بڑے اعداد و شمار کے سیٹوں کو اکثر ڈیٹا سیٹ کے طور پر پہچانا جاتا ہے جو ایک عام ڈیٹا بیس نیٹ ورک میں فٹ نہیں بیٹھتے ہیں ، کیونکہ ان کے تجزیے میں ڈیٹا کو ہینڈل کرنے والے سرورز کی جانب سے بہت زیادہ کام کی ضرورت ہوتی ہے۔

اس بات کو ذہن میں رکھتے ہوئے ، جو بڑا ڈیٹا تیار کیا اس کا ایک بڑا حصہ وہ نظریہ ہے جسے ہم مور کے قانون کے نام سے جانتے ہیں ، یا ہر دو سال بعد سرکٹ پر ٹرانجسٹروں کا دوگنا ہونا ، ہارڈویئر اور ڈیٹا اسٹوریج کے چھوٹے آلے (اسی طرح زیادہ طاقتور مائکرو پروسیسرز) تیار کرتے ہیں۔ . مور کے قانون کے ساتھ مل کر ، اور شاید اسی وجہ سے ، قابل رسائی سوفٹ ویئر سسٹم کی کمپیوٹنگ کی صلاحیت اس حد تک بڑھتی چلی گئی ، جہاں پرسنل کمپیوٹر بھی بڑی مقدار میں ڈیٹا سنبھال سکتے ہیں ، اور بزنس اور وینگارڈ سسٹم ڈیٹا کے سائز کو سنبھالنے کے قابل ہونے لگے۔ صرف کئی سال پہلے ناقابل تصور۔ پرسنل سسٹم صارفین کے لئے شفاف عمل میں کلو بائٹ سے میگا بائٹ ، اور پھر گیگا بائٹس میں منتقل ہوگئے۔ وانگوارڈ سسٹم گیگا بائٹ سے ٹیرا بائٹس اور پیٹا بائٹس کی طرف بڑھا ، اور زٹا بائٹس جیسے پیمانے کے احکامات پر ، ایسے طریقوں سے جو اوسط شہری سے بہت کم شفاف تھے۔

ایک اور پیش قدمی جس میں بڑے اعداد و شمار کو ایڈجسٹ کرنا تھا وہ طریقوں میں تبدیلیاں تھیں جن سے ہینڈلر ڈیٹا سیٹ پر کارروائی کرتے تھے۔ روایتی رشتہ دار ڈیٹا بیس ڈیزائن کے ذریعے لکیری پروسیسنگ کے بجائے ، ہینڈلرز نے ڈیٹا کے عمل میں رکاوٹوں کو ختم کرنے کے لئے اپاچی ہڈوپ اور متعلقہ ہارڈویئر مینجمنٹ کے ٹکڑوں جیسے اوزار استعمال کرنا شروع کردیئے۔

اس کا نتیجہ وہ بڑی ڈیٹا ورلڈ ہے جس میں ہم رہتے ہیں ، جہاں ڈیٹا سینٹرز میں بڑے پیمانے پر ڈیٹا سیٹ اسٹور اور رکھے جاتے ہیں ، اور وسیع پیمانے پر ٹکنالوجیوں کے ذریعہ وسیع پیمانے پر استعمال کے ل. رسائی حاصل کی جاتی ہے۔ تجارت سے لے کر ماحولیات تک ، عوامی منصوبہ بندی سے لے کر طب تک ، بڑا ڈیٹا زیادہ سے زیادہ قابل رسائی ہوتا جارہا ہے۔ دریں اثنا ، سرکاری ایجنسیاں اور دیگر بڑی تنظیمیں اب بھی بڑے اعداد و شمار کی حدود کو آگے بڑھا رہی ہیں اور اس سے بھی زیادہ جدید حلوں پر عمل درآمد کر رہی ہیں۔