چھوٹا اور چھوٹا ڈیٹا: اصل قیمت کہاں ہے؟

بگ ڈیٹا ایک کمبل کا لفظ ہے جو بڑی مقدار میں ڈیٹا کو سنبھالنے کے لئے استعمال ہوتا ہے۔ ہم سب سمجھتے ہیں کہ اعداد و شمار کا حجم اتنا ہی پیچیدہ ہوتا جاتا ہے۔ روایتی ڈیٹا بیس حل اکثر اپنی پیچیدگی اور سائز کی وجہ سے ڈیٹا کی بڑی مقدار کا صحیح طریقے سے انتظام کرنے میں ناکام رہتے ہیں۔ لہذا ، اعداد و شمار کی بڑی مقدار کا نظم و نسق اور حقیقی بصیرت کا حصول ایک مشکل کام ہے۔ وہی "ویلیو" تصور چھوٹے اعداد و شمار پر بھی لاگو ہوتا ہے۔

بگ ڈیٹا کس طرح استعمال ہوتا ہے

روایتی ڈیٹا بیس حل جو آر ڈی بی ایم ایس تصور پر مبنی ہیں ٹرانزیکشنل ڈیٹا کو بہت اچھ wellے طریقے سے منظم کرسکتے ہیں اور مختلف ایپلی کیشنز میں بڑے پیمانے پر استعمال ہوتے ہیں۔ لیکن جب اعداد و شمار کے ایک بڑے سیٹ کو سنبھالنے کی بات آتی ہے (ڈیٹا جو آرکائو کیا جاتا ہے اور وہ ٹیرا بائٹس یا پیٹا بائٹس میں ہوتا ہے) ، تو اکثر یہ ڈیٹا بیس حل ناکام ہوجاتے ہیں۔ یہ ڈیٹا سیٹ بہت بڑے ہوتے ہیں اور زیادہ تر وقت ، وہ روایتی ڈیٹا بیس کے فن تعمیر میں فٹ نہیں بیٹھتے ہیں۔ ان دنوں ، ڈیٹا کے بڑے سیٹوں کو سنبھالنے کے لئے بڑا ڈیٹا ایک سرمایہ کاری مؤثر انداز بن گیا ہے۔ تنظیمی نقطہ نظر سے ، بڑے اعداد و شمار کے استعمال کو درج ذیل اقسام میں توڑا جاسکتا ہے ، جس میں بڑے اعداد و شمار کی اصل قدر رہتی ہے:

• تجزیاتی استعمال

  بڑے اعداد و شمار کے تجزیہ کاروں نے ڈیٹا کے بہت سے اہم پوشیدہ پہلوؤں کا انکشاف کیا ہے جن پر عملدرآمد کرنا بہت مہنگا ہے۔ مثال کے طور پر ، اگر ہمیں کسی خاص نئے موضوع پر طلباء کی دلچسپی کی جانچ پڑتال کرنا ہو تو ہم روزانہ حاضری کے ریکارڈوں اور دیگر معاشرتی اور جغرافیائی حقائق کا تجزیہ کرکے یہ کام کرسکتے ہیں۔ یہ حقائق ڈیٹا بیس میں پکڑے گئے ہیں۔ اگر ہم موثر انداز میں اس ڈیٹا تک رسائی حاصل نہیں کرسکتے ہیں تو ہم نتائج نہیں دیکھ سکتے ہیں۔

• نئی مصنوعات کو فعال کریں

  ماضی قریب میں ، بہت ساری نئی ویب کمپنیوں ، جیسے فیس بک نے ، نئی مصنوعات کو لانچ کرنے کے حل کے بطور بڑے ڈیٹا کا استعمال شروع کردیا ہے۔ ہم سب جانتے ہیں کہ فیس بک کتنا مقبول ہے۔ اس نے بڑے اعداد و شمار کا استعمال کرتے ہوئے اعلی کارکردگی والے صارف کا تجربہ کامیابی کے ساتھ تیار کیا ہے۔

اصل قیمت کہاں ہے؟

اعداد و شمار کو محفوظ کرنے والے نقطہ نظر میں مختلف بڑے اعداد و شمار کے حل مختلف ہیں ، لیکن آخر میں ، وہ سب ڈیٹا کو ایک فلیٹ فائل ڈھانچے میں محفوظ کرتے ہیں۔ عام طور پر ، ہڈوپ فائل سسٹم اور کچھ آپریٹنگ سسٹم لیول ڈیٹا تجرید پر مشتمل ہوتا ہے۔ اس میں میپریڈس انجن اور ہڈوپ ڈسٹری بیوٹڈ فائل سسٹم (ایچ ڈی ایف ایس) شامل ہیں۔ ایک سادہ ہڈوپ کلسٹر میں ایک ماسٹر نوڈ اور متعدد ورکر نوڈس شامل ہیں۔ ماسٹر نوڈ مندرجہ ذیل پر مشتمل ہے:

• ٹاسک ٹریکر
• جاب ٹریکر
• نام نوڈ
• ڈیٹا نوڈ

کارکن نوڈ مندرجہ ذیل پر مشتمل ہے:

• ٹاسک ٹریکر
• ڈیٹا نوڈ

کچھ نفاذ میں صرف ڈیٹا نوڈ ہوتا ہے۔ ڈیٹا نوڈ وہی علاقہ ہے جہاں ڈیٹا مضمر ہے۔ ایچ ڈی ایف ایس بڑی فائلوں کو (ٹیرابائٹ سے پیٹا بائٹ کی حد میں) ایک سے زیادہ مشینوں میں تقسیم کرتا ہے۔ ہر نوڈ پر ڈیٹا کی وشوسنییتا کو تمام میزبانوں میں ڈیٹا کی نقل کرکے حاصل کیا جاتا ہے۔ اس طرح ، اعداد و شمار دستیاب ہیں یہاں تک کہ جب نوڈس میں سے ایک نیچے ہے۔ اس سے سوالات کے خلاف تیزی سے جواب حاصل کرنے میں مدد ملتی ہے۔ یہ تصور فیس بک جیسی بڑی ایپلی کیشنز کی صورت میں بہت کارآمد ہے۔ بطور صارف ، ہمیں اپنی چیٹ کی درخواست کا جواب ملتا ہے ، مثال کے طور پر ، قریب قریب۔ ایک ایسے منظر نامے پر غور کریں جہاں صارف کو چیٹنگ کرتے وقت زیادہ وقت انتظار کرنا پڑتا ہے۔ اگر پیغام اور اس کے نتیجے میں فوری طور پر جواب نہیں دیا گیا ہے ، تو پھر کتنے لوگ واقعی ان چیٹنگ ٹولز کا استعمال کریں گے؟

فیس بک کے نفاذ کی طرف جاتے ہوئے ، اگر ڈیٹا کو کلسٹروں میں دوبارہ نہیں بنایا گیا تو ، اس پر اپیل کرنے کا امکان ممکن نہیں ہوگا۔ ہڈوپ مشینوں میں ڈیٹا کو بڑے کلسٹر میں تقسیم کرتا ہے ، اور فائلوں کو بلاکس کی ترتیب کے طور پر اسٹور کرتا ہے۔ یہ بلاکس آخری بلاک کے سوا یکساں سائز کے ہیں۔ ضرورت کے مطابق بلاک اور نقل کی فیکٹر کا سائز اپنی مرضی کے مطابق کیا جاسکتا ہے۔ ایچ ڈی ایف ایس میں فائلیں ایک بار تحریری نقطہ نظر کی سختی سے پیروی کرتی ہیں اور اس لئے ایک وقت میں صرف ایک صارف کے ذریعہ تحریری یا ترمیم کی جاسکتی ہے۔ بلاکس کی نقل تیار کرنے سے متعلق فیصلے نام نوڈ کے ذریعہ کیے جاتے ہیں۔ نام کے نوڈ میں سے ہر ایک کے ڈیٹا نوڈس سے رپورٹس اور نبض کے جوابات ملتے ہیں۔ نبض کے جوابات متعلقہ ڈیٹا نوڈ کی دستیابی کو یقینی بناتے ہیں۔ رپورٹ میں ڈیٹا نوڈ پر موجود بلاکس کی تفصیلات شامل ہیں۔

ایک اور بڑے اعداد و شمار پر عمل درآمد ، کیسینڈرا ، بھی اسی طرح کی تقسیم کا تصور استعمال کرتا ہے۔ کیسندرا جغرافیائی محل وقوع کی بنیاد پر اعداد و شمار تقسیم کرتا ہے۔ لہذا ، کیسینڈرا میں ، اعداد و شمار کے جغرافیائی محل وقوع کی بنیاد پر اعداد و شمار کو الگ کیا جاتا ہے۔

کبھی کبھی چھوٹا ڈیٹا بڑا اثر ڈالتا ہے (اور کم مہنگا)

اوپن نالج فاؤنڈیشن کے روفس پولک کے مطابق ، بڑے اعداد و شمار کے ارد گرد ہائپ بنانے کا کوئی فائدہ نہیں ہے جبکہ چھوٹا ڈیٹا اب بھی وہ جگہ ہے جہاں اصل قدر و قیمت موجود ہے۔

جیسا کہ نام سے پتہ چلتا ہے ، چھوٹا ڈیٹا ڈیٹا کا ایک سیٹ ہے جو ڈیٹا کے بڑے سیٹ سے نشانہ بنایا جاتا ہے۔ چھوٹا ڈیٹا ڈیٹا کے استعمال سے فوکس کو منتقل کرنے کا ارادہ رکھتا ہے اور اس کا مقصد بڑے اعداد و شمار کی طرف بڑھنے کے رجحان کو روکنا ہے۔ چھوٹا ڈیٹا نقطہ نظر کم کوششوں کا استعمال کرتے ہوئے مخصوص ضروریات کی بنیاد پر ڈیٹا اکٹھا کرنے میں مدد کرتا ہے۔ اس کے نتیجے میں ، کاروباری ذہانت کو نافذ کرتے وقت یہ زیادہ موثر کاروباری عمل ہے۔

اس کے اصل پہلو میں ، چھوٹے اعداد و شمار کا تصور کاروبار کے گرد گھومتا ہے جس کے نتائج کی ضرورت ہوتی ہے جس کے لئے مزید اقدامات کی ضرورت ہوتی ہے۔ ان نتائج کو فوری طور پر لانے کی ضرورت ہے اور اس کے بعد کی کارروائی بھی فوری طور پر انجام دی جانی چاہئے۔ اس طرح ، ہم بڑے اعداد و شمار کے تجزیات میں عام طور پر استعمال ہونے والے نظاموں کو ختم کرسکتے ہیں۔

عام طور پر ، اگر ہم کچھ مخصوص سسٹمز پر غور کریں جن کے لئے ڈیٹا کے حصول کے لئے ضروری ہے ، تو ایک کمپنی بہت سارے سرور اسٹوریج کو ترتیب دینے ، نفیس اعلی کے آخر میں سرورز اور ڈیٹا کے مختلف بٹس کو سنبھالنے کے لئے جدید ترین ڈیٹا مائننگ ایپلی کیشنز میں سرمایہ کاری کر سکتی ہے۔ بشمول صارف کے اعمال کی تاریخیں اور اوقات ، آبادیاتی معلومات اور دیگر معلومات۔ یہ سارا ڈیٹا سیٹ ایک مرکزی ڈیٹا گودام میں منتقل ہوتا ہے ، جہاں پیچیدہ الگورتھم کو تفصیلی رپورٹوں کی شکل میں ظاہر کرنے کے لئے ڈیٹا کو ترتیب دینے اور اس پر کارروائی کرنے کے لئے استعمال کیا جاتا ہے۔

ہم سب جانتے ہیں کہ ان حلوں سے اسکیل ایبلٹیٹی اور دستیابی کے لحاظ سے بہت سارے کاروباروں کو فائدہ ہوا ہے۔ ایسی تنظیمیں موجود ہیں جو یہ سمجھتی ہیں کہ ان طریقوں کو اپنانے کے لئے خاطر خواہ کوشش کی ضرورت ہے۔ یہ بھی سچ ہے کہ کچھ معاملات میں ، کم مضبوط ڈیٹا کانوں کی کھدائی کی حکمت عملی کا استعمال کرتے ہوئے اسی طرح کے نتائج حاصل کیے جاتے ہیں۔

چھوٹا ڈیٹا تنظیموں کو جدید اور جدید ٹکنالوجی کے جنون سے پیچھے ہونے کا ایک ایسا طریقہ فراہم کرتا ہے جو کاروباری زیادہ پیچیدہ عملوں کی حمایت کرتے ہیں۔ چھوٹی ڈیٹا کو فروغ دینے والی کمپنیاں استدلال کرتی ہیں کہ کاروباری نقطہ نظر سے یہ ضروری ہے کہ اپنے وسائل کو موثر انداز میں استعمال کریں ، تاکہ کسی حد تک ٹکنالوجی پر خرچ کرنے سے بچا جاسکے۔

ہم نے بڑے اعداد و شمار اور چھوٹے اعداد و شمار کے حقائق کے بارے میں کافی بحث کی ہے ، لیکن ہمیں یہ سمجھنا چاہئے کہ صحیح استعمال کے ل correct صحیح پلیٹ فارم (بڑا ڈیٹا یا چھوٹا ڈیٹا) کا انتخاب پوری ورزش کا سب سے اہم حصہ ہے۔ اور سچ یہ ہے کہ جبکہ بڑے اعداد و شمار بہت سارے فوائد فراہم کرسکتے ہیں ، لیکن یہ ہمیشہ بہتر نہیں ہوتا ہے۔