PagedAttention, স্পেকুলেটিভ ডিকোডিং, MoE এবং Blackwell

আধুনিক AI স্থাপনা বিশাল মডেলকে দ্রুত ও কম খরচে চালাতে মেমরি-ভার্চুয়ালাইজড সার্ভিং ইঞ্জিন, স্পার্স এক্সপার্ট রাউটিং এবং সাব-বাইট হার্ডওয়্যার নির্ভুলতার ওপর নির্ভর করে। এই তিন প্রযুক্তি উৎপাদনপর্যায়ের LLM অবকাঠামোর অগ্রভাগে রয়েছে।
1. LLM ইনফারেন্স সার্ভিং অপ্টিমাইজেশন: PagedAttention & স্পেকুলেটিভ ডিকোডিং
টেক্সট তৈরির সময় LLM প্রতিটি আগের টোকেনের Key (K) ও Value (V) টেনসর VRAM-এ ক্যাশ করে, যাতে প্রতিটি ধাপে সেগুলি নতুন করে গণনা করতে না হয়। এই KV Cache পরিচালনা এবং একটির পর একটি টোকেন তৈরির ক্রমিক বাধা পেরোনোই ইনফারেন্স সার্ভিংয়ের সবচেয়ে বড় দুটি চ্যালেঞ্জ।
- PagedAttention (vLLM) - KV Cache-এর জন্য ভার্চুয়াল মেমরি।
- বিভাজনের সমস্যা। আগে ইনফারেন্স ইঞ্জিন মডেলের সর্বোচ্চ সম্ভাব্য সিকোয়েন্স দৈর্ঘ্য অনুযায়ী প্রতিটি অনুরোধের জন্য VRAM-এর একটি একটানা অংশ আগে থেকেই বরাদ্দ করত (যেমন 32,768 টোকেন)। ব্যবহারকারী মাত্র 200 টোকেন তৈরি করলে সংরক্ষিত VRAM-এর 99%-এর বেশি খালি থাকত। অভ্যন্তরীণ ও বাহ্যিক বিভাজনে GPU মেমরির 60% থেকে 80% নষ্ট হতো।
- OS-ধাঁচের পেজিং। অপারেটিং সিস্টেমের ভার্চুয়াল মেমরি থেকে অনুপ্রাণিত PagedAttention প্রতিটি সিকোয়েন্সের KV ক্যাশকে ছোট, নির্দিষ্ট আকারের ব্লকে ভাগ করে (যেমন প্রতি ব্লকে 16 টোকেন)। এই ব্লকগুলি ভৌত VRAM-এর যেকোনো স্থানে বিচ্ছিন্নভাবে থাকতে পারে। হালকা একটি ব্লক টেবিল অ্যাটেনশন কার্নেলের মধ্যে তাৎক্ষণিকভাবে লজিক্যাল টোকেন ব্লককে ভৌত GPU মেমরি ঠিকানায় ম্যাপ করে।
- মেমরি ভাগাভাগি (Copy-on-Write)। ব্লকগুলি স্বতন্ত্র হওয়ায় একই সিস্টেম প্রম্পট ব্যবহার করা বা সমান্তরাল উত্তর তৈরি করা (যেমন বিম সার্চ) একাধিক অনুরোধ VRAM-এর ঠিক একই ভৌত KV ব্লক নির্দেশ করে। ফলে মেমরির ব্যবহার অনেক কমে এবং আরও অনেক বড় ব্যাচ সম্ভব হয়।
- স্পেকুলেটিভ ডিকোডিং - ক্রমিক বাধা ভাঙা।
- অটোরিগ্রেসিভ জেনারেশন ধীর কেন। 100টি টোকেন তৈরি করতে 100টি ক্রমিক ফরওয়ার্ড পাস লাগে। প্রতিটি পাস মাত্র একটি নতুন টোকেন প্রক্রিয়া করে বলে GPU তার বেশির ভাগ সময় VRAM থেকে মডেলের ওয়েট পড়তে কাটায়, আর Tensor Cores প্রায় অলস থাকে।
- ড্রাফট-ও-যাচাই পাইপলাইন। স্পেকুলেটিভ ডিকোডিং বিশাল Target Model-কে (যেমন 70B প্যারামিটার) একটি ক্ষুদ্র, অতি দ্রুত Draft Model-এর সঙ্গে জুড়ে দেয় (যেমন 1B–3B প্যারামিটার, অথবা Medusa / EAGLE-এর মতো হালকা প্রেডিকশন হেড)।
- সমান্তরাল যাচাই। ছোট ড্রাফট মডেল দ্রুত পরবর্তী K টোকেন (যেমন 5 টোকেন) ক্রমে অনুমান করে। এরপর বিশাল টার্গেট মডেল একটি সমান্তরাল ফরওয়ার্ড পাসে অনুমিত 5টি টোকেন একসঙ্গে প্রক্রিয়া করে তাদের সম্ভাবনা যাচাই করে। সমান্তরালে 5টি টোকেন যাচাই করতে প্রায় ঠিক 1টি টোকেন তৈরির সমান সময় লাগে বলে সিস্টেম সব মিলে যাওয়া টোকেন একসঙ্গে গ্রহণ করে। এতে গাণিতিকভাবে অভিন্ন আউটপুটের গুণমান রেখে 2× থেকে 3× দ্রুত জেনারেশন হয়।
2. Mixture-of-Experts (MoE) & এক্সপার্ট সমান্তরালতা
ডেন্স মডেল প্রতিটি টোকেনের জন্য তার 100% প্যারামিটার সক্রিয় করে, ফলে বিশাল মডেল চালানোর খরচ অসহনীয় হয়ে ওঠে। Mixture-of-Experts (MoE) আর্কিটেকচার মডেলের মোট জ্ঞানকে প্রতি টোকেনের গণনা খরচ থেকে আলাদা করে।
- MoE স্তর কীভাবে কাজ করে (Mixtral & DeepSeek)।
- একটি MoE Transformer ব্লকে একটিমাত্র ডেন্স Feed-Forward Network (FFN)-এর বদলে ছোট স্বাধীন FFNs-এর গুচ্ছ থাকে, যাদের Experts বলে (যেমন Mixtral 8x7B-তে 8 জন এক্সপার্ট, বা DeepSeek-V3-তে 256টি সূক্ষ্মভাবে ভাগ করা এক্সপার্ট)।
- হালকা একটি শেখানো Router (Gating Network) প্রতিটি আসা টোকেন পরীক্ষা করে এবং তাকে শুধু সবচেয়ে প্রাসঙ্গিক top-K এক্সপার্টের কাছে পাঠায় (সাধারণত 2 থেকে 8 জন)। একটি মডেলের মেমরিতে মোট 600B+ প্যারামিটার থাকতে পারে, অথচ প্রতি টোকেনে মাত্র 37B প্যারামিটার সক্রিয় হয়। এতে গণনা খরচের সামান্য অংশে বিশাল মডেলের বুদ্ধিমত্তা পাওয়া যায়।
- শেয়ার্ড এক্সপার্ট & সহায়ক-লস-মুক্ত ভারসাম্য। DeepSeek-এর মতো আধুনিক MoE নকশায় কিছু Shared Experts থাকে, যারা সাধারণ ভিত্তিগত জ্ঞান ধারণ করতে প্রতিটি টোকেন প্রক্রিয়া করে। অন্যদিকে রাউট করা এক্সপার্ট বিশেষ ক্ষেত্রে বিশেষজ্ঞ হয়। ডাইনামিক বায়াস সমন্বয় "রাউটিং কল্যাপ্স" ঠেকায় (যেখানে রাউটার কয়েকটি জনপ্রিয় এক্সপার্টের ওপর বাড়তি চাপ দেয় ও বাকিদের উপেক্ষা করে)।
- GPUs-জুড়ে এক্সপার্ট সমান্তরালতা (EP)।
- একটি MoE মডেলে শত শত এক্সপার্ট থাকে বলে তারা একটি GPU-তে ধরে না। এক্সপার্ট সমান্তরালতা আলাদা এক্সপার্টকে আলাদা GPUs-এ বণ্টন করে (যেমন এক্সপার্ট 1–4 GPU 0-তে, এক্সপার্ট 5–8 GPU 1-এ)।
- All-to-All যোগাযোগ। GPU 0 টোকেনের ব্যাচ প্রক্রিয়া করার সময় তার রাউটার কিছু টোকেন GPU 3-এ থাকা এক্সপার্টকে দিতে পারে। তাই প্রতিটি MoE স্তর All-to-All ডিসপ্যাচ চালায়: দ্রুত NVLink/InfiniBand আন্তঃসংযোগ দিয়ে টোকেনের হিডেন স্টেট নির্ধারিত এক্সপার্ট থাকা GPU-তে পাঠায়, এক্সপার্ট FFN গণনা করে এবং ফল ফেরাতে দ্বিতীয় All-to-All কম্বাইন ধাপ চালায়।
3. NVIDIA Blackwell (B200) & দ্বিতীয় প্রজন্মের Transformer Engine (FP4)
ট্রিলিয়ন-প্যারামিটারের রিজনিং ও MoE মডেল স্কেল করতে আনা NVIDIA Blackwell (B200) আর্কিটেকচার মাল্টি-ডাই প্যাকেজিং এবং সাব-বাইট সংখ্যাগত নির্ভুলতা দুটিকেই নতুনভাবে নকশা করেছে।
- দুই-ডাইয়ের একীভূত আর্কিটেকচার।
- একটি B200 GPU-তে দুটি রেটিকল-সীমিত ডাইয়ের মধ্যে মোট 208 বিলিয়ন ট্রানজিস্টর থাকে। ডাই দুটি 10 TB/s NV-HBI (High-Bandwidth Interface) দিয়ে যুক্ত। CUDA কার্নেল ও সফটওয়্যার ফ্রেমওয়ার্কের কাছে দুটি ডাই কোনো ক্যাশ-কোহেরেন্সির অতিরিক্ত খরচ ছাড়াই একটিমাত্র একীভূত GPU হিসেবে কাজ করে।
- HBM3e মেমরি ব্যান্ডউইডথ। 192 GB HBM3e VRAM থেকে 8 TB/s মেমরি ব্যান্ডউইডথ দিয়ে (H100-এর 3.35 TB/s-এর দ্বিগুণেরও বেশি) Blackwell সরাসরি KV ক্যাশ ও MoE ওয়েট লোডিংয়ের মেমরি-ব্যান্ডউইডথ বাধা মোকাবিলা করে।
- দ্বিতীয় প্রজন্মের Transformer Engine & NVFP4।
- Hopper 8-বিট ফ্লোটিং-পয়েন্ট (FP8) এনেছিল, আর Blackwell-এর দ্বিতীয় প্রজন্মের Transformer Engine Tensor Core গণনাকে 4-বিট ফ্লোটিং-পয়েন্টে (FP4) নামিয়ে আনে। এতে মূল গণনার থ্রুপুট আবার দ্বিগুণ হয় (প্রতি GPU-তে সর্বোচ্চ 20 petaFLOPS ডেন্স FP4 গণনা), এবং FP8-এর তুলনায় মেমরির প্রয়োজন অর্ধেক হয়।
- মাইক্রো-টেনসর স্কেলিং (NVFP4) দিয়ে FP4-এর ডাইনামিক রেঞ্জের সমাধান। সাধারণ 4-বিট সংখ্যার সম্ভাব্য মান মাত্র 16টি। নিউরাল অ্যাক্টিভেশনে চরম ব্যতিক্রমী সংখ্যা এলে এতে সাধারণত নির্ভুলতা নষ্ট হয়। Blackwell হার্ডওয়্যারে দুই-স্তরের মাইক্রো-স্কেলিং ব্যবহার করে এটি সমাধান করে: বড় ম্যাট্রিক্সে একটিমাত্র স্কেলিং গুণক না দিয়ে, ওয়েট ও অ্যাক্টিভেশনকে 16 উপাদানের ক্ষুদ্র ব্লকে ভাগ করে। প্রতিটি ব্লককে একটি গ্লোবাল FP32 টেনসর স্কেলের পাশাপাশি নিজস্ব উচ্চ-নির্ভুলতার FP8 স্কেলিং গুণক দেওয়া হয়।
- হার্ডওয়্যার-ত্বরিত কোয়ান্টাইজেশন। Transformer Engine স্তর ধরে টেনসরের মানের পরিসর ডাইনামিকভাবে পরীক্ষা করে এবং অতিরিক্ত মেমরি যাতায়াত ছাড়া সরাসরি Tensor Core পাইপলাইনে FP16/BF16, FP8 ও NVFP4-এর মধ্যে মান রূপান্তর করে।