বাংলা সংবাদ
সর্বশেষ
সাবেক মন্ত্রী রাজিথা সেনারত্নে সতর্ক করেছেন শ্রীলঙ্কা আবারও দেউলিয়া হওয়ার দিকে যাচ্ছেথাম্বুটেগামায় অভাবী পরিবারের বাড়ি নির্মাণে অর্থ দিচ্ছেন প্রাক্তন রাষ্ট্রপতিবিলিয়ন রুপির ক্যান্সার চিকিৎসা মেশিন নিষ্ক্রিয় হওয়ায় রোগীদের আরও বিলম্ব হয়একটি যুগান্তকারী বছর: এক বছরে একজন অভিনেতার জন্য তিনটি 2-বিলিয়ন-ভারতীয়-রুপির ছবিপাকিস্তানে তারবেলা জলবিদ্যুৎ প্রকল্পে রিটেইনিং ওয়াল ধসে পড়েছে বলে জানা গেছেমন্ত্রী বলেছেন আন্তর্জাতিক সম্প্রচারকারীরা শ্রীলঙ্কার পর্যটনের জন্য সহায়তা প্রদান করেনোচ্চিয়াগামা হত্যাকাণ্ডে সহায়তার অভিযোগে একজনকে আটক করেছে পুলিশসিংহরাজায় বন্যপ্রাণী সংগ্রহের অভিযোগে চার চীনা নাগরিককে রিমান্ডে পাঠানো হয়েছে
এআই ও প্রযুক্তি

ব্যবহারিক GPU ইঞ্জিনিয়ারিং: Metal শেডার, প্রোফাইলিং এবং এজ ডিপ্লয়মেন্ট

উদাহরণমূলক কক্ষপথের দৃশ্যে উত্তর-পশ্চিম আমেরিকার শহরের আলো, কোনো AI কম্পিউটিং সিস্টেম নয়।
উদাহরণমূলক কক্ষপথের দৃশ্যে উত্তর-পশ্চিম আমেরিকার শহরের আলো, কোনো AI কম্পিউটিং সিস্টেম নয়।

ব্যবহারিক GPU ইঞ্জিনিয়ারিংয়ের মধ্যে রয়েছে ক্রস-প্ল্যাটফর্ম শেডার প্রোগ্রামিং, হার্ডওয়্যার কাউন্টার রোগনির্ণয় এবং ডিভাইসে এজ ডিপ্লয়মেন্ট। নিচে এই তিনটি কর্মপ্রবাহেরই বিশদ আলোচনা রয়েছে।

1. কাস্টম Apple Metal (MSL) টাইলযুক্ত ম্যাট্রিক্স গুণন শেডার

Apple Silicon (M1–M4 / A-series)-এ কম্পিউট কার্নেল Metal Shading Language (MSL)-এ লেখা হয় এবং ধীর গ্লোবাল মেমরি রিড এড়াতে Threadgroup Memory (CUDA Shared Memory-র Apple সমতুল্য) ব্যবহার করে।

নিচে 16 × 16 থ্রেডগ্রুপ টাইল ব্যবহার করা MSL-এ একটি টাইলযুক্ত ম্যাট্রিক্স গুণন (C = A × B) শেডার রয়েছে।

#include <metal_stdlib>
using namespace metal;

constant uint TILE_SIZE = 16;

struct MatrixDims {
    uint M; // Rows of A and C
    uint N; // Cols of B and C
    uint K; // Cols of A and Rows of B
};

kernel void matmul_tiled(
    device const float* A        [[buffer(0)]],
    device const float* B        [[buffer(1)]],
    device float* C              [[buffer(2)]],
    constant MatrixDims& dims    [[buffer(3)]],
    uint2 gid                    [[thread_position_in_grid]],
    uint2 tid                    [[thread_position_in_threadgroup]]
) {
    // Fast on-chip Threadgroup (SRAM) tiles
    threadgroup float tileA[TILE_SIZE][TILE_SIZE];
    threadgroup float tileB[TILE_SIZE][TILE_SIZE];

    float acc = 0.0f;
    uint numTiles = (dims.K + TILE_SIZE - 1) / TILE_SIZE;

    for (uint t = 0; t < numTiles; ++t) {
        uint tiledCol = t * TILE_SIZE + tid.x;
        uint tiledRow = t * TILE_SIZE + tid.y;

        // Collaboratively load 16x16 tiles into Threadgroup memory
        tileA[tid.y][tid.x] = (gid.y < dims.M && tiledCol < dims.K)
                              ? A[gid.y * dims.K + tiledCol] : 0.0f;
        tileB[tid.y][tid.x] = (tiledRow < dims.K && gid.x < dims.N)
                              ? B[tiledRow * dims.N + gid.x] : 0.0f;

        // Synchronize all threads in the threadgroup before reading tiles
        threadgroup_barrier(mem_flags::mem_threadgroup);

        // Compute partial dot product entirely inside registers/SRAM
        for (uint k = 0; k < TILE_SIZE; ++k) {
            acc += tileA[tid.y][k] * tileB[k][tid.x];
        }

        // Wait before overwriting tiles in the next loop iteration
        threadgroup_barrier(mem_flags::mem_threadgroup);
    }

    if (gid.y < dims.M && gid.x < dims.N) {
        C[gid.y * dims.N + gid.x] = acc;
    }
}
  • প্রধান হার্ডওয়্যার ম্যাপিং: [[thread_position_in_grid]] সরাসরি CUDA-র blockIdx * blockDim + threadIdx-এর সঙ্গে ম্যাপ হয়, আর threadgroup_barrier(mem_flags::mem_threadgroup), CUDA-র __syncthreads()-এর সঙ্গে ম্যাপ হয়। প্রোডাকশন FP16 ওয়ার্কলোডের জন্য Apple Silicon, simdgroup_float8x8 হার্ডওয়্যার ইন্ট্রিনসিকও দেয়, যাতে Apple-এর ম্যাট্রিক্স-গুণন ইউনিট সরাসরি ব্যবহার করা যায়।

2. ধাপে ধাপে ncu Roofline অপ্টিমাইজেশনের নির্দেশনা

ধরুন আপনি (4096, 4096) FP16 টেনসরে সারি-ভিত্তিক LayerNorm-এর জন্য একটি সরল CUDA বা Triton কার্নেল লেখেন এবং সেটি PyTorch-এর নেটিভ ইমপ্লিমেন্টেশনের চেয়ে চোখে পড়ার মতো ধীরে চলে।

ধাপ 1: হার্ডওয়্যার কাউন্টার ক্যাপচার করুন

সেটআপ কোডে প্রোফাইলিংয়ের বাড়তি চাপ এড়াতে শুধু আপনার কাস্টম কার্নেলের নাম লক্ষ্য করে NVIDIA Nsight Compute (ncu) চালান:

ncu --kernel-name regex:layernorm_naive --metrics \
sm__throughput.avg.pct_of_peak_sustained_elapsed,\
dram__throughput.avg.pct_of_peak_sustained_elapsed,\
l1tex__t_sectors_pipe_lsu_mem_global_op_ld.sum,\
smsp__warp_issue_stalled_long_scoreboard_per_warp_active.pct \
python run_layernorm.py

ধাপ 2: Roofline-এ বাধা শনাক্ত করুন

আউটপুট মেট্রিক পরীক্ষা করুন:

  • গণনা (SM) থ্রুপুট: সর্বোচ্চের 11.4%।
  • মেমরি (DRAM/HBM) থ্রুপুট: সর্বোচ্চের 84.2%।
  • ওয়ার্প থেমে থাকার কারণ (long_scoreboard): 68.5% (গ্লোবাল HBM মেমরি রিড ফিরে আসার অপেক্ষায় ওয়ার্পগুলি থেমে আছে)।
  • রোগনির্ণয়: কার্নেলটি Roofline চার্টে ঢালু মেমরি-ব্যান্ডউইডথ সীমার ঠিক নিচে রয়েছে। তাছাড়া, l1tex__t_sectors পরীক্ষা করলে অসংযুক্ত মেমরি রিড ধরা পড়ে। একই ওয়ার্পের থ্রেডগুলি পরপর সারির ঠিকানা পড়ার বদলে কলাম বরাবর ধাপে ধাপে এগোয়, ফলে আনা প্রতিটি 128-বাইট HBM ক্যাশ লাইনের 75% নষ্ট হয়।

ধাপ 3: লক্ষ্যভিত্তিক হার্ডওয়্যার সমাধান প্রয়োগ করুন

1. মেমরি কোয়ালেসিং ঠিক করুন: নিশ্চিত করুন যেন পাশাপাশি থ্রেড (threadIdx.x) পরপর থাকা অভ্যন্তরীণ মাত্রা (n_cols) বরাবর পাশাপাশি উপাদান পড়ে, যাতে 32টি FP16 রিড একটি একক 64-বাইট সংযুক্ত ট্রানজ্যাকশনে মিশে যায়।

2. ভেক্টরাইজড লোড (float4 / tl.load ব্লক): প্রতি নির্দেশনায় 16 বিটের বদলে 128 বিট (8টি FP16 মান) লোড করুন, যাতে মোট মেমরি নির্দেশনার সংখ্যা 8× কমে।

3. ওয়ার্প-শাফল রিডাকশন: ধীর Shared Memory রিডাকশনকে রেজিস্টার-টু-রেজিস্টার ওয়ার্প শাফল (CUDA-তে __shfl_xor_sync বা Triton-এ tl.sum) দিয়ে প্রতিস্থাপন করুন, যাতে সিঙ্ক্রোনাইজেশন ব্যারিয়ার ছাড়াই সারির গড় ও ভ্যারিয়েন্স গণনা করা যায়।

ধাপ 4: Roofline-এ যাচাই করুন

ncu আবার চালালে নিশ্চিত হয়:

  • গ্লোবাল লোড সেক্টর: 4× কমে (100% ক্যাশ-লাইন ব্যবহার)।
  • লং স্কোরবোর্ড স্টল: 68.5% থেকে < 15%-এ নেমে যায়।
  • ওয়াল-ক্লক লেটেন্সি: 3.8× উন্নতি হয়, ফলে কার্যকর ব্যান্ডউইডথ H100-এর ভৌত HBM সীমার 85%-এর ওপরে পৌঁছায়।

3. এজ ডিপ্লয়মেন্ট পাইপলাইন: মোবাইল/ল্যাপটপে LLM কোয়ান্টাইজ করা & চালানো

ল্যাপটপ বা স্মার্টফোনে (8 GB–16 GB ভাগ করা RAM) একটি 8B-প্যারামিটারের LLM স্থাপন করতে ওয়েটকে 4-বিট পূর্ণসংখ্যায় সংকুচিত করতে হয় এবং llama.cpp বা Apple MLX-এর মতো জিরো-ওভারহেড C++ রানটাইমের মাধ্যমে চালাতে হয়।

[HF Safetensors (FP16, 16 GB)] 
       │  1. Convert & Apply Calibration Data (Imatrix)
       ▼
[GGUF Quantized Binary (Q4_K_M, 4.9 GB)]
       │  2. Memory-Map (mmap) into Unified RAM
       ▼
[Metal / Vulkan Compute Shaders (On-the-Fly Dequant + Matrix Mul)]

ধাপ 1: রূপান্তর & ক্যালিব্রেশন (Importance Matrix)

সরাসরি 4-বিট রাউন্ডিং যুক্তি ও কোডিংয়ের নির্ভুলতা কমায়। llama.cpp ব্যবহার করে প্রথমে Hugging Face ওয়েটকে একটি অসংকুচিত GGUF ফাইলে রূপান্তর করুন। তারপর একটি ছোট ক্যালিব্রেশন টেক্সট নমুনায় Importance Matrix (imatrix) গণনা করুন, যাতে মাপা যায় কোন ওয়েট চ্যানেলের অ্যাক্টিভেশনের ওপর সবচেয়ে বেশি প্রভাব রয়েছে:

python convert_hf_to_gguf.py ./Llama-3.1-8B --outfile llama-8b-f16.gguf
./llama-imatrix -m llama-8b-f16.gguf -f calibration.txt -o imatrix.dat

ধাপ 2: মিশ্র-বিট K-কোয়ান্টাইজেশন (Q4_K_M)

Q4_K_M (4-বিট K-quant Medium) ব্যবহার করে মডেল কোয়ান্টাইজ করুন। এটি সংবেদনশীল অ্যাটেনশন ভ্যালু/আউটপুট লেয়ারকে 6-বিটে (Q6_K) রাখে, আর ঘন ফিড-ফরওয়ার্ড লেয়ারকে 256 ওয়েটের সুপার-ব্লকে 4-বিটে (Q4_K) সংকুচিত করে:

./llama-quantize --imatrix imatrix.dat llama-8b-f16.gguf llama-8b-q4_k_m.gguf Q4_K_M

এতে মডেল 16.0 GB থেকে ~4.9 GB-তে ছোট হয় এবং পারপ্লেক্সিটির অবনতি 1%-এর কম থাকে।

ধাপ 3: ডিভাইসে জিরো-কপি ইউনিফায়েড মেমরি নির্বাহ

iPhone, Android ডিভাইস বা MacBook-এ চালানোর সময়:

  • mmap দিয়ে তাৎক্ষণিক লোড: রানটাইম 4.9 GB .gguf ফাইলটিকে ফ্ল্যাশ স্টোরেজ থেকে সরাসরি Unified Memory-তে মেমরি-ম্যাপ (mmap) করে। এতে RAM-এর অনুলিপি দূর হয় এবং 1 সেকেন্ডেরও কম সময়ে মডেল লোড হয়।
  • ফিউজড ডিকোয়ান্টাইজেশন শেডার: টোকেন তৈরির সময় কাস্টম Metal (ggml-metal.metal) বা Vulkan (mul_mat_q4_K.comp) কম্পিউট শেডার প্যাক করা 4-বিট ওয়েট ব্লক সরাসরি GPU রেজিস্টারে লোড করে, বিটওয়াইজ শিফট দিয়ে আনপ্যাক করে এবং চলার সময়েই FP16 অ্যাক্টিভেশনের সঙ্গে গুণ করে। এর ফলে আধুনিক ল্যাপটপ GPU-তে 40–70+ টোকেন/সেকেন্ড এবং ফ্ল্যাগশিপ মোবাইল ফোনে 15–25 টোকেন/সেকেন্ড পাওয়া যায়।

আরও খবর: এআই ও প্রযুক্তি