Orbis চালু আছে

Orbis হলো Visko-এর প্রকাশিত প্রথম Live Model (রিয়েল-টাইম ওয়ার্ল্ড মডেল), যা AI ভিডিওকে লাইভ সম্প্রচারের মতো অবিরাম চালু রাখে। ব্যবহারকারী যেকোনো সময় নতুন নির্দেশ দিয়ে রিয়েল টাইমে দৃশ্যের গতিপথ পরিবর্তন করতে পারেন, সম্পূর্ণ ভিডিও তৈরি হওয়া পর্যন্ত অপেক্ষা করার প্রয়োজন নেই। মডেলটি 4K@24FPS রিয়েল-টাইম স্ট্রিমিং জেনারেশন সমর্থন করে। মাল্টি-স্কেল মেমরি মেকানিজমের মাধ্যমে ঘণ্টাব্যাপী দীর্ঘমেয়াদি ধারাবাহিকতা বজায় রাখে এবং কারণভিত্তিক সময় বিভাজন ও পদার্থবিদ্যা-সচেতন পুরস্কারের ওপর ভিত্তি করে স্বাভাবিক ও বাস্তবসম্মত গতি নিশ্চিত করে। এটি ভার্চুয়াল লাইভস্ট্রিম, ইন্টার‌্যাক্টিভ গল্প এবং রোবট সিমুলেশনসহ বিভিন্ন ক্ষেত্রে ব্যবহারযোগ্য।

রিয়েল-টাইম স্ট্রিমিং জেনারেশন: দৃশ্য লাইভ সম্প্রচারের মতো বিরতিহীনভাবে আউটপুট হতে থাকে এবং 4K@24FPS রিয়েল-টাইম ডেলিভারি সমর্থন করে।
জেনারেশনের সময় ইন্টার‌্যাকশন: ব্যবহারকারী যেকোনো সময় প্রম্পট যোগ বা পরিবর্তন করতে পারেন; নতুন নির্দেশ গড়ে 1 সেকেন্ডের মধ্যে পরবর্তী দৃশ্যে কার্যকর হয়।
মাল্টিমোডাল ইনপুট: টেক্সট-টু-ভিডিও, ইমেজ-টু-ভিডিও এবং ভিডিও এক্সটেনশন, এই তিন উপায়ে বিশ্ব তৈরি শুরু করা যায়।
দীর্ঘমেয়াদি ধারাবাহিকতা: মাল্টি-স্কেল মেমরি মেকানিজমের মাধ্যমে দৃশ্যমান মানের উল্লেখযোগ্য অবনতি ছাড়াই ঘণ্টাব্যাপী ধারাবাহিক জেনারেশন বজায় রাখা যায়।
পদার্থবিদ্যাগত বাস্তবতা: কারণভিত্তিক বিভাজন ও ওয়ার্ল্ড মডেল পুরস্কারের ওপর ভিত্তি করে বস্তুর গতি ও পারস্পরিক ক্রিয়া পদার্থবিদ্যার নিয়ম মেনে চলে।

কারণভিত্তিক সময় বিভাজন: জেনারেশনকে একটি প্রাথমিক-মান সমস্যা হিসেবে বিবেচনা করা হয়। প্রতিটি chunk কেবল জমা দেওয়া ইতিহাস থেকে পরবর্তী সময়পর্বের পূর্বাভাস দেয়। এতে পদার্থবিদ্যাগত বিবর্তনের মার্কভ কাঠামোর সঙ্গে স্বাভাবিক সামঞ্জস্য থাকে এবং দ্বিমুখী ডিনয়জিংয়ে ”ভবিষ্যতের noise বর্তমান সিদ্ধান্তকে দূষিত করে” সমস্যাটি এড়ানো যায়।
সীমাবদ্ধ মাল্টি-স্কেল মেমরি: সাম্প্রতিক ইতিহাস স্থানীয় latent resolution-এ সংরক্ষিত থাকে, দূরবর্তী ইতিহাস ধীরে ধীরে সংকুচিত হয় এবং window-এর বাইরের তথ্য Consolidate হয়ে নির্দিষ্ট ধারণক্ষমতার learning state-এ রূপ নেয়। ফলে মেমরি ও কম্পিউটেশনাল খরচ rollout-এর দৈর্ঘ্য থেকে বিচ্ছিন্ন থাকে।
ক্রমবর্ধমান প্রশিক্ষণ পাইপলাইন: দ্বিমুখী মডেল দিয়ে স্বল্পমেয়াদি ভিজ্যুয়াল prior শেখানো হয়, এরপর তা stream জেনারেটরে distill করা হয়। event-aligned দীর্ঘ ভিডিও প্রশিক্ষণ ও মানুষের বাছাই করা fine-tuning-এর পর self-forcing distribution matching এবং GRPO reinforcement learning-এর মাধ্যমে ভিজ্যুয়াল ও পদার্থবিদ্যাগত পুরস্কারের সঙ্গে alignment করা হয়।
পদার্থবিদ্যা-সচেতন পুরস্কার alignment: একটি frozen V-JEPA 2 latent world model ব্যবহার করে প্রার্থী frame ও ঐতিহাসিক state-এর prediction consistency মূল্যায়ন করা হয়। এতে বাস্তব dynamics-সম্মত জেনারেশন নির্দেশিত হয় এবং visual quality reward-এর সঙ্গে যৌথভাবে optimization করা হয়।
স্ট্রিমিং inference engineering: state reuse, compiled Transformer execution, multi-GPU sequence parallelism এবং progressive decode-super-resolution-transmission pipeline সমন্বিতভাবে কাজ করে 4K রিয়েল-টাইম ডেলিভারি সম্ভব করে।

সেশন শুরু করুন: Visko-এর অফিসিয়াল Playground-এ প্রবেশ করুন বা API কল করুন। টেক্সট লিখে, ছবি আপলোড করে অথবা ভিডিওর prefix পেস্ট করে একটি রিয়েল-টাইম সেশন শুরু করা যায়।
রিয়েল-টাইম জেনারেশন চালু করুন: Live বোতামে ক্লিক করলে stream জেনারেশন শুরু হবে এবং দৃশ্য লাইভ সম্প্রচারের মতো ধারাবাহিকভাবে স্বয়ংক্রিয়ভাবে এগোবে।
রিয়েল টাইমে দৃশ্যে হস্তক্ষেপ করুন: জেনারেশনের সময় যেকোনো মুহূর্তে নতুন prompt বা voice command লিখুন; গড়ে 1 সেকেন্ডের মধ্যে পরবর্তী দৃশ্যের গতিপথ পরিবর্তন করা যায়।
নিরবচ্ছিন্নভাবে দৃশ্য বদলান: দৃশ্যের পরিবর্তন বর্ণনা করতে “Morph the scene” ব্যবহার করুন। নতুন নির্দেশ পরবর্তী chunk boundary-তে কোনো বিরতি ছাড়াই যুক্ত হবে।
আউটপুটের মান নির্বাচন করুন: প্রয়োজন অনুযায়ী 1080p, 2K বা 4K output resolution বেছে নিন। সিস্টেম streaming super-resolution-এর মাধ্যমে উচ্চমানের দৃশ্য রিয়েল টাইমে সরবরাহ করবে।
ক্লিপ ধারণ ও সংরক্ষণ করুন: Clip বোতামে ক্লিক করে যেকোনো সময় বর্তমান জেনারেট হওয়া ভিডিওর অংশ ধারণ ও সংরক্ষণ করতে পারেন, যা পরবর্তী সম্পাদনা বা শেয়ারের জন্য ব্যবহার করা যাবে।
নিজস্ব অ্যাপ্লিকেশনে সংযুক্ত করুন: API Key সংগ্রহ করে Orbis-এর রিয়েল-টাইম জেনারেশন ক্ষমতা নিজের অ্যাপ, লাইভস্ট্রিম বা রোবট সিমুলেশন workflow-এ একীভূত করা যায়।

রিয়েল-টাইম স্ট্রিমিং ইন্টার‌্যাকশন: দৃশ্য লাইভ সম্প্রচারের মতো ধারাবাহিকভাবে তৈরি হয় এবং ব্যবহারকারী যেকোনো সময় নতুন নির্দেশ দিয়ে গতিপথ পরিবর্তন করতে পারেন; সম্পূর্ণ ভিডিও তৈরি হওয়া পর্যন্ত অপেক্ষার প্রয়োজন নেই।
অতি দীর্ঘমেয়াদি ধারাবাহিকতা: সীমাবদ্ধ মাল্টি-স্কেল মেমরি মেকানিজমের মাধ্যমে উল্লেখযোগ্য মানের অবনতি বা রঙের বিচ্যুতি ছাড়াই ঘণ্টাব্যাপী ধারাবাহিক জেনারেশন বজায় রাখা যায়।
উচ্চ পদার্থবিদ্যাগত বাস্তবতা: কারণভিত্তিক সময় বিভাজন ও latent world model reward-এর ওপর ভিত্তি করে বস্তুর গতি ও পারস্পরিক ক্রিয়া বাস্তব পদার্থবিদ্যার নিয়ম মেনে চলে।
উচ্চমানের রিয়েল-টাইম ডেলিভারি: native generation-এর সঙ্গে streaming super-resolution ব্যবহার করে 4K@24FPS ভিডিও রিয়েল টাইমে আউটপুট করা যায়।
একীভূত জেনারেশন ইন্টারফেস: একই causal continuation framework টেক্সট-টু-ভিডিও, ইমেজ-টু-ভিডিও এবং ভিডিও এক্সটেনশন, এই তিন ধরনের startup পদ্ধতি সমর্থন করে।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://www.visko.ai/models
প্রযুক্তিগত গবেষণাপত্র: https://www.visko.ai/blog/papers/files/Visko_Orbis_1_0__A_Live_Model_for_Real_TimeInteractive_Long_Video_Generation.pdf

ইন্টার‌্যাক্টিভ বিনোদন ও গল্প রচনা: ব্যবহারকারী রিয়েল টাইমে গল্পের শাখা বেছে নিতে বা কণ্ঠে গল্প বলতে পারেন, আর দৃশ্য নির্দেশ অনুযায়ী তাৎক্ষণিকভাবে এগিয়ে যায়, যা ”খেলতে পারা সিনেমা”র অভিজ্ঞতা তৈরি করে।
AI লাইভস্ট্রিম ও ভার্চুয়াল主播: ভার্চুয়াল主播-এর রিয়েল-টাইম দৃশ্য ইঞ্জিন হিসেবে এটি ধারাবাহিকভাবে লাইভস্ট্রিমের দৃশ্য তৈরি করে এবং মন্তব্য বা voice command-এর প্রতিক্রিয়া জানায়, pre-recorded উপকরণের প্রয়োজন হয় না।
রোবট সিমুলেশন প্রশিক্ষণ: উচ্চবিশ্বস্ত ভার্চুয়াল জগতে রোবটের আচরণ প্রশিক্ষণ ও পরীক্ষা করা যায়, ফলে বাস্তব পরিবেশে মোতায়েনের আগে trial-and-error-এর খরচ কমে।
ইমার্সিভ শিক্ষা ও প্রশিক্ষণ: বিমূর্ত জ্ঞান বা ঐতিহাসিক দৃশ্য রিয়েল টাইমে দৃশ্যমান করা যায়, আর শিক্ষার্থীরা voice command-এর মাধ্যমে প্রশ্ন করে প্রদর্শনের বিষয়বস্তু তাৎক্ষণিকভাবে বদলাতে পারে।
ই-কমার্স ভার্চুয়াল প্রদর্শন: ভার্চুয়াল influencer রিয়েল-টাইমে তৈরি দৃশ্যে পণ্য প্রদর্শন করে; ব্যবহারকারী তাৎক্ষণিকভাবে style, angle বা ব্যবহারের পরিস্থিতি বদলানোর নির্দেশ দিতে পারেন।