N-gram Model (এন-গ্রাম মডেল)

মনেকর তুমি যখন গল্প বলতে চেষ্টা করো, তখন তো প্রতিটা শব্দ একটার পর একটা সুন্দরভাবে সাজানো থাকে, তাই না? ঠিক সেইভাবে, আমরা যখন কোনো লেখার ভাষাগত নিদর্শন বা patterns খুঁজতে যাই, তখনও দেখি, একটার পর একটা শব্দ কীভাবে বসে। এই জায়গা থেকেই আসে N-gram Model।

.

উদাহরণ দিয়ে বোঝাই:

.

.

ধরো, তুমি একটা বাক্য লিখেছ:

“আমি ভাত খাই”

এখন, যদি আমি প্রতিটা শব্দের সংযোগকে দেখতে চাই, তাহলে N-gram Model কাজ করবে।

.

1-gram:

.

১-গ্রাম মানে প্রতিটি শব্দকে আলাদা আলাদা ধরে দেখছি। যেমন,

“আমি”, “ভাত”, “খাই”

.

এগুলো হলো ১-গ্রাম (বা unigram)। আলাদা আলাদা শব্দ হিসাবেই ধরা হলো। এইভাবে ১-গ্রাম দিয়ে তুমি জানবে, কোন কোন শব্দ সব থেকে বেশি ব্যবহৃত হচ্ছে।

.

2-gram (বাইগ্রাম):

.

এবার, ২টা করে শব্দ জোড়া হিসেবে দেখি,

“আমি ভাত”, “ভাত খাই”

এগুলো হলো ২-গ্রাম (বা bigram)। এখানে তুমি বোঝবে, কোন কোন শব্দ একসাথে বেশি আসে।

.

3-gram (ট্রাইগ্রাম):

.

এবার তিনটা শব্দ ধরে দেখি,

“আমি ভাত খাই”

এটাই হলো ৩-গ্রাম (বা trigram)। এইভাবে, তুমি তিনটি শব্দের সম্পর্কও জানতে পারো। এটি আরও নির্দিষ্ট ধারণা দেয়, যেমন কোন বাক্যাংশ বেশি ব্যবহৃত হচ্ছে।

.

গল্পের মতো ব্যাখ্যা:

=============

.

ধরো, তুমি একটা রেসিপি শিখছো। প্রতিটা পদক্ষেপ তুমি একটার পর একটা শিখছ। কিন্তু তুমি যদি শুধু প্রতিটা উপাদান (ingredient) আলাদাভাবে জানো, যেমন ১-গ্রাম, তাহলে তুমি হয়তো উপাদান চিনতে পারবে, কিন্তু পুরো রান্নার প্রক্রিয়া তোমার জন্য বোঝা কঠিন হবে।

.

.

কিন্তু, যদি তুমি প্রতিটা ধাপের সংযোগ জানতে পারো—উপাদানগুলোর একটার পর একটা যোগ করার সময়—তাহলে তুমি রান্না পুরোপুরি বুঝতে পারবে। ২-গ্রাম বা ৩-গ্রাম দিয়ে তুমি সেই সংযোগ বোঝো। রান্নার ধরনটা বোঝা যায়, আর বাক্য তৈরির নিয়মও বুঝা যায়।

.

বাস্তব প্রয়োগ:

.

এন-গ্রাম মডেল মূলত ভাষাগত প্যটার্ন খুঁজতে ব্যবহার হয়, যেমন গুগলের অটো-কমপ্লিট ফিচারে ঘটে। তুমি যখন কিছু টাইপ করো, তখন গুগল দেখে যে “কোন শব্দের পর কোন শব্দ বেশি আসে”, আর সেই ভিত্তিতে পরের শব্দটি সাজেস্ট করে। এটাই এন-গ্রামের জাদু!

.

.

আরো উদাহরণ:

তুমি যখন গুগলে কিছু খোঁজো, গুগল তোমার লেখার প্রথম কিছু শব্দ দেখে পরের শব্দগুলো কী হতে পারে সেটা অনুমান করে। ধরো তুমি লিখলে, “আকাশের রং”, গুগল অটো-কমপ্লিট করে দিয়ে বলে “নীল” হতে পারে পরের শব্দ। এটা কেন হয়? কারণ গুগল দেখে, সাধারণত “আকাশের রং” এর পর “নীল” শব্দটাই বেশি আসে। গুগল এই অনুমানটা N-gram Model ব্যবহার করে করে।

এটা অনেকটা তোমার নানুর সেই গল্প বলার মতো—একটা বাক্য শেষ হলে তিনি জানতেন পরের বাক্যে কী আসবে, কারণ বাক্যের সাথে বাক্য যুক্ত হয় একটা নির্দিষ্ট প্যাটার্নে। এন-গ্রাম ঠিক সেভাবেই কাজ করে, একটা নির্দিষ্ট প্যাটার্ন খোঁজে, যাতে ভাষা আর গল্প আরও সহজভাবে বুঝতে পারো।

.

ধরো, ক্লাসে নতুন একটা বিষয় নিয়ে আলোচনা হচ্ছে—গুগলের অ্যালগরিদম কীভাবে কাজ করে, আর তার সাথে N-gram Model এর সম্পর্ক কী। এখন, খুবই সহজ গল্পের মাধ্যমে আমি তোমাকে এই বিষয়টা ব্যাখ্যা করার চেস্টা করবো।

.

গল্প দিয়ে ব্যাখ্যা:

.

ধরো, তোমার সামনে অনেক বই আছে। তোমার কাজ হলো, সেই বইগুলো থেকে সবচেয়ে প্রাসঙ্গিক বা প্রয়োজনীয় তথ্য খুঁজে বের করা। তুমি যদি একটা বইয়ের প্রতিটা শব্দ আলাদা আলাদা করে পড়তে থাকো, তাহলে পুরো বিষয়টা বুঝতে অনেক সময় লাগবে, আর তুমি বোধহয় খুব দ্রুত ক্লান্ত হয়ে যাবে। কিন্তু, যদি তুমি কয়েকটা শব্দ একসাথে ধরো—যেমন, দুইটা, তিনটা বা চারটা শব্দ একসাথে পড়ো—তাহলে দ্রুত বোঝা যাবে বাক্যের আসল মানে কী।

.

.

গুগলও অনেকটা এভাবেই কাজ করে। তার সামনে অনেক তথ্য থাকে (যেমন পুরো ইন্টারনেটের তথ্য), আর সেইসব তথ্যের মধ্যে থেকে সবচেয়ে প্রাসঙ্গিক তথ্য বের করতে হয়। যখন তুমি গুগলে কিছু লিখো, গুগল তখন সেই লেখা দেখে অনুমান করে তুমি আসলে কী খুঁজতে চাও। আর এই অনুমান করার জন্যই গুগল ব্যবহার করে N-gram Model।

.

.

N-gram Model কীভাবে গুগলকে সাহায্য করে:

==========================

.

.

গুগল যখন তোমার সার্চ করা শব্দগুলো পায়, তখন সেটাকে শুধু আলাদা আলাদা করে দেখে না। বরং, গুগল দেখে, কোন শব্দগুলো একসাথে বসে, আর কোন শব্দগুলো সাধারণত একসাথে খুঁজে পাওয়া যায়। ধরো, তুমি লিখেছো “বাংলাদেশের ক্রিকেট”। গুগল জানে, এই দুই শব্দ (“বাংলাদেশের” এবং “ক্রিকেট”) সাধারণত একসাথে আসে, আর তাই সে দ্রুত বুঝতে পারে তুমি সম্ভবত বাংলাদেশের ক্রিকেট সম্পর্কিত কিছু জানতে চাও।

.

গুগল এখানে ২-গ্রাম বা বাইগ্রাম মডেল ব্যবহার করে, যেখানে দুইটি শব্দের সম্পর্ক দেখা হয়। ধরো তুমি লিখলে “বাংলাদেশের ক্রিকেট দলের অধিনায়ক”। এবার গুগল আরও দীর্ঘ সম্পর্ক (যেমন ৩-গ্রাম বা ৪-গ্রাম) ব্যবহার করে, যেখানে তিন বা চারটি শব্দের সম্পর্ক দেখে ফলাফল বের করে।

.

.

বাস্তব উদাহরণ:

.

.

ধরো, তুমি লিখলে “সেরা গানের তালিকা”। গুগল তার ডাটাবেজ থেকে খুঁজে দেখবে, সাধারণত “সেরা”, “গান”, “তালিকা” এই শব্দগুলো কোথায় কোথায় একসাথে ব্যবহৃত হয়েছে। এটা দেখে গুগল বুঝবে, তুমি কোন গানগুলো খুঁজতে চাইছো। তাই, সে সবচেয়ে উপযুক্ত ওয়েবসাইটগুলো সামনে তুলে ধরবে, যেগুলোতে সেই একই বাক্যাংশ বেশি পাওয়া গেছে।

.

এটাই হলো N-gram Model এর বৈশিষ্ট্য । এটা গুগলকে সাহায্য করে সার্চ করা বাক্যগুলোর মধ্যে প্যাটার্ন খুঁজতে, যাতে করে সবচেয়ে প্রাসঙ্গিক তথ্য দ্রুত বের করা যায়।

.

গুগল অ্যালগরিদম এবং N-gram Model:

==========================

.

.

গুগলের অ্যালগরিদম অনেক বেশি জটিল। শুধু এন-গ্রাম মডেলের ওপর নির্ভর করে না, গুগল আরও অনেক কিছু দেখে, যেমন পেজ র‍্যাঙ্ক, কীওয়ার্ডের ঘনত্ব, ইউজার বিহেভিয়ার ইত্যাদি। কিন্তু, এন-গ্রাম মডেল গুগলের অ্যালগরিদমের একটা গুরুত্বপূর্ণ অংশ, যেটা গুগলকে সাহায্য করে শব্দের প্যাটার্ন খুঁজে বের করতে এবং যা দ্রুত উপযুক্ত ফলাফল দিতে পারে।

.

ছোট্ট সারসংক্ষেপ:

.

গুগলের অ্যালগরিদম অনেকটা সেই শিক্ষক যেমন, যে পুরো ক্লাসের সব প্রশ্ন বুঝতে পারে, কারণ সে জানে ছাত্ররা সাধারণত কোন প্রশ্নগুলো একসাথে করে। আর এই প্রশ্নগুলো একসাথে খুঁজে বের করার জন্য এন-গ্রাম মডেল একটা টুল হিসেবে কাজ করে। গুগল বুঝতে পারে কোন শব্দগুলো বা বাক্যাংশগুলো একসাথে বেশি আসে, আর সেই অনুযায়ী তোমার জন্য সবচেয়ে প্রাসঙ্গিক তথ্য তুলে ধরে।

.

.

কম সময়ে সবচেয়ে প্রসংগিক তথ্য বের করাই কি এন গ্রাম মডেলের উদ্দেশ্য?

———————————————

.

.

না, N-gram Model এর মূল উদ্দেশ্য শুধু কম সময়ে প্রাসঙ্গিক তথ্য বের করা নয়। এর আসল উদ্দেশ্য হলো শব্দ বা বাক্যাংশের মধ্যে সম্পর্ক খুঁজে বের করা এবং তার ভিত্তিতে ভবিষ্যদ্বাণী করা, কোন শব্দগুলো একসাথে ব্যবহৃত হতে পারে।

এটা ভাষাগত নিদর্শন বা প্যাটার্ন বোঝার জন্য ব্যবহৃত হয়, যেমন:

.

1. ভাষা মডেলিং: N-gram ব্যবহার করে ভাষার প্রাকৃতিক ব্যবহারের প্যাটার্ন বোঝা যায়। যেমন, কোন শব্দগুলো সাধারণত একসাথে আসে বা কোন বাক্যাংশগুলো বেশি ব্যবহৃত হয়।

.

2. ভবিষ্যদ্বাণী করা: যখন কিছু শব্দ দেওয়া থাকে, তখন N-gram মডেল ব্যবহার করে পরের সম্ভাব্য শব্দ কী হতে পারে সেটা অনুমান করা যায়। যেমন, যদি তুমি লেখো “আমি চা”, তাহলে N-gram মডেল থেকে আমরা অনুমান করতে পারি যে পরবর্তী শব্দ হতে পারে “খাই” বা “খেতে চাই” ইত্যাদি।

.

3. প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP): বিভিন্ন NLP কাজে যেমন অটো-কমপ্লিট, স্পিচ রিকগনিশন, ট্রান্সলেশন ইত্যাদিতে N-gram মডেল ব্যবহার করা হয়। এখানে শব্দের প্যাটার্নের ভিত্তিতে বাক্য তৈরির কাজগুলো সহজ হয়ে যায়।

.

.

গুগল তার সার্চ অ্যালগরিদমে N-gram মডেলকে ব্যবহার করে শুধু দ্রুত সার্চ ফলাফল দেওয়ার জন্য নয়, বরং সার্চ করা প্রশ্ন বা শব্দের ভিত্তিতে তথ্য প্রাসঙ্গিকতা বাড়ানোর জন্য। অর্থাৎ, N-gram মডেলকে ব্যবহার করে গুগল বুঝতে পারে কোন শব্দ বা বাক্যাংশগুলো সাধারণত একসাথে আসে, আর সেই তথ্যকে কাজে লাগিয়ে আরও সঠিক ও প্রাসঙ্গিক সার্চ ফলাফল দেয়।

.

তাহলে সংক্ষেপে, N-gram মডেলের উদ্দেশ্য মূলত ভাষাগত প্যাটার্ন খুঁজে বের করা এবং তার ভিত্তিতে ভবিষ্যৎ শব্দ বা বাক্যাংশের সম্ভাবনা নির্ধারণ করা, যা দ্রুত ও প্রাসঙ্গিক তথ্য বের করতে সহায়ক হয়।

.

.

** Please do not comment “next”.