لغوی تجزیہ کیا ہے؟ - ٹیکوپیڈیا سے تعریف

تعریف - لیکسیکل تجزیہ کا کیا مطلب ہے؟

لیکسیکل تجزیہ ایک ایسا تصور ہے جو کمپیوٹر سائنس پر اسی طرح لاگو ہوتا ہے کہ اس کا اطلاق لسانیات پر ہوتا ہے۔ بنیادی طور پر ، لغوی تجزیہ کا مطلب حرفوں یا آوازوں کے ایک دھارے کو اکائیوں کے گروپوں میں گروپ کرنا جو بامعنی نحو کی نمائندگی کرتا ہے۔ لسانیات میں ، اس کو تجزیہ کہتے ہیں ، اور کمپیوٹر سائنس میں ، اس کو تجزیہ یا ٹوکنائزنگ کہا جاسکتا ہے۔

ٹیکوپیڈیا لیکسیکل تجزیات کی وضاحت کرتا ہے

کمپیوٹر سائنس میں لغوی تجزیہ کا خیال یہ ہے کہ لیلسیکل تجزیہ ندیوں کو "لیکسمس" میں توڑ دیتا ہے جہاں ایک ٹوکن معنی کی بنیادی اکائی کی نمائندگی کرتا ہے۔ ٹوکن کو اس طرح ایک ساتھ باندھ دیا جاتا ہے کہ زبان کے مرتب کرنے والے کو واپس جانا چاہئے اور کمپیوٹنگ کی صحیح ہدایات پر عمل درآمد کے ل them انہیں الگ تھلگ کرنا ہوگا۔ بنیادی طور پر ، انسان اور کمپیوٹرز دونوں ہی لغوی تجزیہ کرتے ہیں ، لیکن کمپیوٹر اسے مختلف اور زیادہ تکنیکی انداز میں کرتے ہیں۔ کمپیوٹرز کو جس طرح سے لیلسیکل تجزیہ کرتے ہیں ان کو انسانوں کے لئے شفاف ہونے کی ضرورت نہیں ہے - اسے صرف کمپیوٹنگ سسٹم میں پروگرام کرنا ہے۔ ایسے پروگرام جو کمپیوٹر سائنس میں لغوی تجزیہ کرتے ہیں انہیں اکثر لیکسرز ، ٹوکنائزرز یا اسکینر کہا جاتا ہے۔