QwenGyre চালু আছে

QwenGyre হলো আলিবাবার Qwen-এর তৈরি অতি-দীর্ঘমেয়াদি এজেন্ট অনলাইন রিইনফোর্সমেন্ট লার্নিং ফ্রেমওয়ার্ক, যা একবারে প্রায় ৭০万 token এবং কয়েক ঘণ্টা ধরে চলা কাজের জন্য তৈরি। QwenGyre ইলাস্টিক শিডিউলিংয়ের মাধ্যমে কাজ থামানো ছাড়াই অব্যবহৃত GPU-কে স্যাম্পলিং ও প্রশিক্ষণের মধ্যে স্থানান্তর করে, ট্র্যাজেক্টরি প্রসেসিংয়ের মাধ্যমে প্রকৃত কনটেক্সট সংরক্ষণ করে, আংশিক ফলাফল মূল্যায়ন করে এবং খরচ নিয়ন্ত্রণে শেয়ার করা প্রিফিক্স ডিডুপ্লিকেট করে। Qwen3.8-2.4T-এ ৪৮ ধাপে NL2RepoBench-এর পাসের হার ৫২.৪৮% থেকে ৫৮.৫৪%-এ উন্নীত হয়েছে, Async-এর তুলনায় এন্ড-টু-এন্ড গতি ১.৭৮× বেশি।

অতি-দীর্ঘমেয়াদি এজেন্ট অনলাইন রিইনফোর্সমেন্ট লার্নিং: একবারে কয়েক ঘণ্টা স্থায়ী এবং মোট প্রায় এক মিলিয়ন token-এর কাজের ওপর সরাসরি RL প্রশিক্ষণ।
ইলাস্টিক GPU শিডিউলিং: কাজ থামানো ছাড়াই অব্যবহৃত GPU-কে স্যাম্পলিং ও প্রশিক্ষণের মধ্যে গতিশীলভাবে স্থানান্তর।
রিকোয়েস্ট রিরাউটিং ও KV cache মাইগ্রেশন: GPU-এর ভূমিকা বদলালেও এজেন্ট চলতে থাকে, ওয়ার্কস্পেস ও টুলের অবস্থা সংরক্ষিত থাকে এবং RDMA-এর মাধ্যমে KV cache স্থানান্তর করে পুনরাবৃত্ত গণনা কমানো হয়।
স্ট্রিমিং প্রশিক্ষণ ও মাঝপথে নতুন নোড যুক্ত করা: মূল cell কর্তৃত্বপূর্ণ প্যারামিটার সংরক্ষণ করে, স্যাটেলাইট cell যেকোনো সময় snapshot সংগ্রহ করে চলমান batch-এ যুক্ত হতে পারে এবং অগ্রগতি অনুযায়ী micro-batch গ্রহণ করে।
ট্র্যাজেক্টরি ট্রি ও প্রকৃত কনটেক্সট সংরক্ষণ: Token-in Token-out ব্যবহার করে প্রতিটি কলের সুনির্দিষ্ট ইনপুট-আউটপুট রেকর্ড করা হয়, শেয়ার করা prefix অনুযায়ী ট্র্যাজেক্টরি ট্রি তৈরি করা হয় এবং প্রতিটি আউটপুট তার তৈরির সময়কার কনটেক্সটের সঙ্গে সামঞ্জস্যপূর্ণ থাকে।
আংশিক স্কোরিং (Partial Scoring): সময়সীমার মধ্যে সম্পূর্ণ না হওয়া কাজ থেকে যাচাইযোগ্য ফলাফল পাওয়া গেলে, তা কাজের নিয়ম অনুযায়ী স্কোর করে প্রশিক্ষণে ব্যবহার করা হয়।
ট্র্যাজেক্টরি বাজেট ও loss ভারসাম্য: প্রতিটি execution-এ সর্বাধিক Jmaxটি ট্র্যাজেক্টরি রাখা হয়, শেয়ার করা prefix-এর জন্য একবারই loss গণনা করা হয়, যাতে বেশি branch-যুক্ত কাজের ওজন অতিরিক্ত না হয়।

ইলাস্টিক শিডিউলার (Elastic Scheduler): GPU-কে কয়েকটি সমজাতীয় কম্পিউটিং unit-এ ভাগ করা হয়। প্রতিটি cell SGLang ব্যবহার করে sampling service দিতে পারে এবং Megatron ব্যবহার করে সম্পূর্ণ training replica বহন করতে পারে। শিডিউলার অসমাপ্ত কাজের পরিমাণ বা “watermark” অনুসরণ করে। চলমান কাজগুলো চালিয়ে যাওয়ার জন্য অবশিষ্ট sampling capacity যথেষ্ট এবং training data সরবরাহ পর্যাপ্ত থাকলে, cell-গুলোকে ক্রমানুসারে training-এ যুক্ত করা হয়। পরিবর্তনের সময় agent নতুন inference engine-এ model request redirect করে এবং অসমাপ্ত request পুনরায় চেষ্টা করে; backend process ও communication group পুনর্নির্মাণের প্রয়োজন হয় না। মূল cell কর্তৃত্বপূর্ণ weight ও optimizer state ধরে রাখে। স্যাটেলাইট cell RDMA-এর মাধ্যমে parameter snapshot সংগ্রহ করে বর্তমান batch-এর gradient accumulation-এ যুক্ত হয়, পরে মূল cell একীভূতভাবে update করে। এর ফলে data প্রস্তুত হওয়ার সঙ্গে সঙ্গে training ধাপে ধাপে সম্প্রসারিত হয় এবং sampling ও training-এর মধ্যে উচ্চমাত্রার overlap বজায় থাকে।
ট্র্যাজেক্টরি প্রসেসর (Trajectory Processor): QwenGyre agent-এর মাধ্যমে প্রতিটি model call-এর সুনির্দিষ্ট input/output token ID এবং behavior policy log probability রেকর্ড করে। শেয়ার করা prefix পুনর্ব্যবহার করা হয়, বিভাজনস্থলে branch তৈরি করা হয় এবং সেগুলোকে ট্র্যাজেক্টরি ট্রিতে সংগঠিত করা হয়, যাতে প্রতিটি output তার তৈরির সময়কার মূল context-এর সঙ্গে সামঞ্জস্যপূর্ণ থাকে। Training admission পর্যায়ে role priority অনুযায়ী প্রতিটি execution-এর জন্য Jmaxটির বেশি নয় এমন ট্র্যাজেক্টরি নির্বাচন করা হয়। কেবল policy model-উৎপাদিত token loss-এ অংশ নেয় এবং শেয়ার করা target একবারই গণনা করা হয়। প্রথমে execution-এর ভেতরে নির্বাচিত token-এর গড় নেওয়া হয়, পরে execution-গুলোর গড় নেওয়া হয়, ফলে execution-এর ওজন তার branch সংখ্যার সঙ্গে নিরপেক্ষ থাকে। Partial Scoring-এর মাধ্যমে সময়সীমা অতিক্রম করা কাজের সম্পন্ন অংশ মূল্যায়ন করে স্কোর করা হয়, যা অতি-দীর্ঘমেয়াদি execution-এ বিরল ও ব্যয়বহুল কার্যকর signal-এর সর্বোচ্চ ব্যবহার নিশ্চিত করে।

বর্তমানে QwenGyre গবেষণাপত্র আকারে প্রকাশিত হয়েছে; আলিবাবা এখনও code বা installation package প্রকাশ করেনি।

প্রথমবার flagship model-এর অতি-দীর্ঘমেয়াদি online RL বাস্তবায়ন: Qwen3.8-2.4T-এ একবারে প্রায় ৭০万 token-এর কাজের ওপর online reinforcement learning সম্পন্ন করা হয়েছে এবং ৪৮ ধাপে NL2RepoBench-এর পাসের হার ৫২.৪৮% থেকে ৫৮.৫৪%-এ উন্নীত হয়েছে।
প্রশিক্ষণের দক্ষতা ব্যাপকভাবে বৃদ্ধি: একই GPU বাজেটে end-to-end গতি Async-এর তুলনায় সর্বোচ্চ ১.৭৮× এবং Colocate-এর তুলনায় ১.৮৫×; ৪৮ ধাপের training time ১৩৪.৫৫ ঘণ্টা থেকে কমে ৭৫.৪২ ঘণ্টা হয়েছে।
কাজে শূন্য বিঘ্নসহ ইলাস্টিক শিডিউলিং: GPU sampling ও training-এর মধ্যে গতিশীলভাবে পরিবর্তিত হলেও agent execution, workspace এবং tool state সম্পূর্ণ সংরক্ষিত থাকে। পরিবর্তনে মাত্র কয়েক সেকেন্ড সময় লাগে, যা কয়েক ঘণ্টার execution-এর তুলনায় উপেক্ষণীয়।
GPU ব্যবহার সর্বাধিক করা: সূক্ষ্ম cell-স্তরের resource allocation Colocate mode-এর দীর্ঘ tail অপেক্ষা ও নিষ্ক্রিয়তা এবং Async mode-এর স্থির partition-এর অনমনীয়তা দূর করে; training সম্পূর্ণভাবে sampling-এর আড়ালে চালানো যায়।
প্রকৃত context-নির্ভুল প্রশিক্ষণ: TITO mechanism নিশ্চিত করে যে প্রতিটি output তার তৈরির সময়কার মূল context-এর সঙ্গে সামঞ্জস্যপূর্ণ, ফলে history compression বা sub-agent context সংযোজনের কারণে তৈরি “মিথ্যা context” training signal এড়ানো যায়।

arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2609.33848

প্রাকৃতিক ভাষা থেকে সম্পূর্ণ code repository তৈরি: প্রাকৃতিক ভাষার specification অনুযায়ী শূন্য থেকে বহু-প্যাকেজের software repository তৈরি করা, যেখানে একবারের execution প্রায় ৭০万 token এবং কয়েক ঘণ্টা স্থায়ী হয়।
বিদ্যমান repository-তে দীর্ঘমেয়াদি software engineering: বর্তমান codebase-এ feature development, bug fixing এবং বহু-file পরিবর্তনের মতো জটিল কাজ সম্পন্ন করা।
বহু-ধাপের terminal automation: agent command-line environment-এ শত শত tool call ধারাবাহিকভাবে সম্পাদন করে system configuration ও operations-এর কাজ সম্পন্ন করে।
বৃহৎ codebase refactoring ও migration: repository জুড়ে technology stack upgrade, সম্পূর্ণ refactoring এবং কয়েক ঘণ্টা ধরে ধারাবাহিক planning ও execution প্রয়োজন এমন engineering task।
বহু-agent সহযোগিতামূলক কাজ: প্রধান agent-এর sub-agent-কে দায়িত্ব অর্পণ করা hierarchical execution scenario, যেখানে trajectory processing branch structure ব্যবহার করে subtask training cost নিয়ন্ত্রণ করতে পারে।