যখন মজিলার ইনোভেশন গ্রুপ প্রথম চালু দ লামাফাইল প্রকল্প গত বছরের শেষের দিকে, ওপেন সোর্স এআই ডেভেলপারদের কাছ থেকে তাৎক্ষণিক ইতিবাচক প্রতিক্রিয়া দেখে আমরা রোমাঞ্চিত হয়েছি। এটি GitHub-এ Mozilla-এর শীর্ষ তিনটি সর্বাধিক-পছন্দের সংগ্রহস্থলগুলির মধ্যে একটি হয়ে উঠেছে, অনেক অবদানকারীকে আকর্ষণ করছে, কিছু চমৎকার PR, এবং আমাদের উপর একটি ক্রমবর্ধমান সম্প্রদায় ডিসকর্ড সার্ভার.
এটির মাধ্যমে, প্রধান বিকাশকারী এবং প্রকল্পের স্বপ্নদর্শী জাস্টিন টুনি প্রকল্পের বিভিন্ন ধরনের মৌলিক উন্নতিতে কঠোর পরিশ্রম করেছে। শুধু গত রাতে, জাস্টিন লামাফাইলের v0.8 রিলিজ পাঠানো হয়েছেযার মধ্যে শুধুমাত্র অতি সাম্প্রতিক ওপেন মডেলের জন্যই সমর্থন নয়, CPU অনুমানের জন্য অনেক বড় কর্মক্ষমতা উন্নতিও রয়েছে।
জাস্টিনের কাজের ফলস্বরূপ, আজ লামাফাইল উভয়ই সবচেয়ে সহজ এবং দ্রুততম আপনার নিজের হার্ডওয়্যারে ওপেন বৃহৎ ভাষার মডেলের বিস্তৃত পরিসর চালানোর উপায়। নিজের জন্য দেখুন: llamafile দিয়ে, আপনি মেটা-এর সদ্য মুক্তি পাওয়া চালাতে পারেন LLaMA 3 মডেল-যা প্রতিদিনের ম্যাকবুকে তার আকারের ক্লাসে উপলব্ধ সবচেয়ে সেরা মডেলগুলির প্রতিদ্বন্দ্বী।
কিভাবে আমরা এটা কি? এটি ব্যাখ্যা করার জন্য, আসুন এক ধাপ পিছিয়ে যাই এবং v0.1 থেকে পরিবর্তিত সমস্ত কিছু সম্পর্কে আপনাকে বলি।
tinyBLAS: NVIDIA-এর জন্য GPU সমর্থনকে গণতান্ত্রিক করা এবং এএমডি
llamafile এখন কিংবদন্তি উপরে নির্মিত হয় call.cpp প্রকল্প llama.cpp cuBLAS রৈখিক বীজগণিত লাইব্রেরির মাধ্যমে NVIDIA প্রসেসরের জন্য GPU-ত্বরিত অনুমান সমর্থন করে, কিন্তু এর জন্য ব্যবহারকারীদের NVIDIA-এর CUDA SDK ইনস্টল করতে হবে। আমরা সেই সত্যটি নিয়ে অস্বস্তি বোধ করেছি, কারণ এটি একটি সম্পূর্ণ ওপেন-সোর্স এবং স্বচ্ছ এআই স্ট্যাক তৈরির আমাদের প্রকল্পের লক্ষ্যের সাথে বিরোধপূর্ণ যা যে কেউ কমোডিটি হার্ডওয়্যারে চালাতে পারে। এবং পাশাপাশি, CUDA সঠিকভাবে সেট আপ করা কিছু সিস্টেমে একটি ভালুক হতে পারে। একটি ভাল উপায় হতে হবে.
সম্প্রদায়ের সাহায্যে (এখানে আপনার দিকে তাকিয়ে আছে, @আহগামুত এবং @mrdomino!), আমরা আমাদের নিজস্ব সমাধান তৈরি করেছি: এটিকে বলা হয় tinyBLAS, এবং এটি llamafile-এর একেবারে নতুন এবং অত্যন্ত দক্ষ লিনিয়ার বীজগণিত লাইব্রেরি। tinyBLAS লামাফাইল ব্যবহারকারীদের জন্য NVIDIA ত্বরণকে সহজ এবং বিরামহীন করে তোলে। উইন্ডোজে, আপনাকে CUDA ইনস্টল করার দরকার নেই; আপনার যা প্রয়োজন তা হল ডিসপ্লে ড্রাইভার যা আপনি সম্ভবত ইতিমধ্যেই ইনস্টল করেছেন।
কিন্তু tinyBLAS শুধু NVIDIA-এর থেকেও বেশি কিছু: এটি AMD GPU-কেও সমর্থন করে। এটা কোনো ছোট কীর্তি নয়। যদিও AMD আজকের GPU বাজারের একটি সম্মানজনক 20% নিয়ন্ত্রণ করে, দুর্বল সফ্টওয়্যার এবং ড্রাইভার সমর্থন ঐতিহাসিকভাবে তাদের মেশিন লার্নিং স্পেসে সেকেন্ডারি প্লেয়ার করে তুলেছে। এটি একটি লজ্জার বিষয়, যে এএমডির জিপিইউগুলি উচ্চ কার্যকারিতা অফার করে, দাম প্রতিযোগিতামূলক এবং ব্যাপকভাবে উপলব্ধ।
লামাফাইলের লক্ষ্যগুলির মধ্যে একটি হল ওপেন সোর্স এআই প্রযুক্তির অ্যাক্সেসকে গণতন্ত্রীকরণ করা, এবং এর অর্থ হল এএমডিকে টেবিলে একটি আসন দেওয়া। আমরা ঠিক এটাই করেছি: llamafile এর tinyBLAS এর সাথে, আপনি এখন সহজেই স্থানীয় অনুমানকে ত্বরান্বিত করতে আপনার AMD GPU-এর সম্পূর্ণ ব্যবহার করতে পারেন। এবং, CUDA এর মতো, আপনি যদি একজন উইন্ডোজ ব্যবহারকারী হন তবে আপনাকে AMD এর ROCm SDK ইনস্টল করতে হবে না।
এই সমস্তটির অর্থ হল, অনেক ব্যবহারকারীর জন্য, llamafile স্বয়ংক্রিয়ভাবে আপনার GPU ব্যবহার করবে বাক্সের বাইরে, আপনার পক্ষ থেকে সামান্য বা কোন প্রচেষ্টা ছাড়াই।
দ্রুত স্থানীয় এআই-এর জন্য CPU কর্মক্ষমতা লাভ করে
এখানে Mozilla-এ, আমরা “স্থানীয় AI” এর প্রতিশ্রুতিতে গভীরভাবে আগ্রহী, যেখানে AI মডেল এবং অ্যাপ্লিকেশনগুলি ক্লাউডের পরিবর্তে সরাসরি শেষ-ব্যবহারকারীর হার্ডওয়্যারে চলে। স্থানীয় AI উত্তেজনাপূর্ণ কারণ এটি এই সিস্টেমগুলির উপর আরও ব্যবহারকারীর নিয়ন্ত্রণ এবং ব্যবহারকারীদের জন্য অধিক গোপনীয়তা এবং নিরাপত্তার সম্ভাবনা উন্মুক্ত করে।
কিন্তু অনেক ভোক্তা ডিভাইসে হাই-এন্ড জিপিইউ নেই যা প্রায়শই অনুমানমূলক কাজের জন্য প্রয়োজন হয়। llama.cpp এই ক্ষেত্রে একটি গেম-চেঞ্জার হয়েছে কারণ এটি শুধুমাত্র GPU-এর পরিবর্তে CPU-তে স্থানীয় অনুমান উভয়ই সম্ভব এবং ব্যবহারযোগ্য করে তোলে।
লামাফাইলে জাস্টিনের সাম্প্রতিক কাজটি এখন শিল্পের অবস্থাকে আরও এগিয়ে নিয়ে গেছে। হিসাবে নথিভুক্ত তার বিস্তারিত ব্লগ পোস্ট বিষয়ের উপর, 84টি নতুন ম্যাট্রিক্স গুণন কার্নেল লিখে তিনি আমাদের পূর্ববর্তী প্রকাশের তুলনায় 10x বিস্ময়করভাবে লামাফাইলের প্রম্পট মূল্যায়ন কর্মক্ষমতা বাড়াতে সক্ষম হয়েছেন। ভোক্তা হার্ডওয়্যারে স্থানীয় এআইকে কার্যকর করার জন্য এটি একটি উল্লেখযোগ্য এবং কার্যকর পদক্ষেপ।
এই কাজটি ওপেন সোর্স এআই সম্প্রদায়ের প্রতি আমাদের প্রতিশ্রুতির একটি দুর্দান্ত উদাহরণ। আমরা অবিলম্বে এই কাজ শেষ করার পর একটি পিআর জমা দিয়েছেন llama.cpp-এ এই কর্মক্ষমতা উন্নতিগুলি আপস্ট্রিম করতে। আমরা llama.cpp-এ অবদান রেখেছি এমন বেশ কয়েকটি বর্ধনের মধ্যে এটি সর্বশেষতম, একটি অনুশীলন যা আমরা চালিয়ে যাওয়ার পরিকল্পনা করছি।
রাস্পবেরি পাই কর্মক্ষমতা লাভ করে
ভোক্তা হার্ডওয়্যারের কথা বলতে গেলে, এমন কয়েকটি উদাহরণ রয়েছে যা প্রিয় রাস্পবেরি পাইয়ের চেয়ে আরও আকর্ষণীয় এবং আরও নম্র। দর কষাকষির বেসমেন্ট মূল্যের জন্য, আপনি সাধারণ ডেস্কটপ ব্যবহারের জন্য প্রচুর কম্পিউটিং শক্তি সহ Linux চালিত একটি সম্পূর্ণ বৈশিষ্ট্যযুক্ত কম্পিউটার পাবেন। এটি একটি চিত্তাকর্ষক প্যাকেজ, তবে ঐতিহাসিকভাবে এটি AI অ্যাপ্লিকেশনের জন্য একটি কার্যকর প্ল্যাটফর্ম হিসাবে বিবেচিত হয়নি।
আর না। llamafile এখন সর্বশেষ মডেলের (রাস্পবেরি পাই 5) জন্য অপ্টিমাইজ করা হয়েছে, এবং ফলাফল হল যে অনেকগুলি ছোট LLM- যেমন রকেট-3B (ডাউনলোডTinyLLaMA-1.5B (ডাউনলোড), এবং Phi-2 (ডাউনলোড)-আজ উপলব্ধ সবচেয়ে কম ব্যয়বহুল কম্পিউটারগুলির একটিতে ব্যবহারযোগ্য গতিতে চালান৷ আমরা প্রম্পট মূল্যায়নের গতি দেখেছি 80 টোকেন/সেকেন্ড পর্যন্ত কিছু ক্ষেত্রে!
সর্বশেষ মডেলের সাথে আপ রাখা
উন্মুক্ত মডেল স্পেসে অগ্রগতির গতি হয়েছে অত্যাশ্চর্য দ্রুত. গত কয়েক মাসে, শত শত মডেল ফাইন-টিউনিংয়ের মাধ্যমে প্রকাশিত বা আপডেট করা হয়েছে। পথ বরাবর, ক্রমবর্ধমান মডেলের কর্মক্ষমতা এবং সর্বদা ছোট মডেলের আকারের একটি স্পষ্ট প্রবণতা রয়েছে।
llama.cpp প্রকল্পটি এই সমস্ত নতুন মডেলের সাথে তাল মিলিয়ে চলার জন্য একটি চমৎকার কাজ করছে, তাদের প্রকাশের কয়েকদিনের মধ্যেই নতুন আর্কিটেকচার এবং মডেল বৈশিষ্ট্যগুলির জন্য ঘন ঘন রোল-আউট সমর্থন।
আমাদের অংশের জন্য আমরা llama.cpp-এর সাথে llamafile ঘনিষ্ঠভাবে সিঙ্ক করে রেখেছি যাতে আমরা একই মডেলকে সমর্থন করতে পারি। উভয় প্রকল্পের জটিলতার পরিপ্রেক্ষিতে, এটি কোনও ছোট কৃতিত্ব ছিল না, তাই মামলায় জাস্টিনকে পেয়ে আমরা ভাগ্যবান।
আজ, আপনি আজ তার কঠোর পরিশ্রমের জন্য লামাফাইলের সাথে খুব সাম্প্রতিক এবং সবচেয়ে সক্ষম ওপেন মডেলগুলি ব্যবহার করতে পারেন৷ উদাহরণস্বরূপ, আমরা মেটার নতুন LLaMA 3 মডেলের জন্য llamafiles রোল-আউট করতে সক্ষম হয়েছি-8B- নির্দেশ এবং 70B- নির্দেশ-তাদের মুক্তির একদিনের মধ্যে। গতকালের 0.8 রিলিজের সাথে, llamafile এছাড়াও Grok, Mixtral 8x22B, এবং Command-R চালাতে পারে।
আপনার নিজস্ব লামাফাইল তৈরি করা
লামাফাইল পাঠানোর দিন থেকে মানুষ তাদের নিজস্ব লামাফাইল তৈরি করতে চেয়েছিল। পূর্বে, এটির জন্য বেশ কয়েকটি পদক্ষেপের প্রয়োজন ছিল, কিন্তু আজ আপনি এটি একটি একক কমান্ড দিয়ে করতে পারেন, যেমন:
llamafile-convert (model.gguf)
কিছুক্ষণের মধ্যে, এটি একটি “model.llamafile” ফাইল তৈরি করবে যা অবিলম্বে ব্যবহারের জন্য প্রস্তুত। কমিউনিটি সদস্যকে আমাদের ধন্যবাদ @chan1012 এই সহায়ক উন্নতিতে অবদান রাখার জন্য।
একটি সম্পর্কিত উন্নয়নে, Hugging Face সম্প্রতি তাদের মডেল হাবের মধ্যে llamafile এর জন্য অফিসিয়াল সমর্থন যোগ করেছে। এর মানে আপনি এখন পারেন অনুসন্ধান এবং ফিল্টার ওপেন সোর্স সম্প্রদায়ের অন্যান্য ব্যক্তিদের দ্বারা তৈরি এবং বিতরণ করা লামাফাইলের জন্য বিশেষভাবে আলিঙ্গন করা মুখ।
OpenAI- সামঞ্জস্যপূর্ণ API সার্ভার
যেহেতু এটি llama.cpp-এর উপরে তৈরি করা হয়েছে, তাই llamafile সেই প্রোজেক্টের সার্ভার কম্পোনেন্টকে উত্তরাধিকারী করে, যা OpenAI- সামঞ্জস্যপূর্ণ API এন্ডপয়েন্ট প্রদান করে। এটি ডেভেলপারদের যারা OpenAI-এর উপরে তৈরি করছে তাদের পরিবর্তে ওপেন মডেল ব্যবহার করতে স্যুইচ করতে সক্ষম করে। Mozilla-এ আমরা এই ধরনের ভবিষ্যৎকে সমর্থন করতে চাই: যেখানে ওপেন-সোর্স AI কেন্দ্রীভূত, বন্ধ, বাণিজ্যিক অফারগুলির একটি কার্যকর বিকল্প।
যদিও খোলা মডেলগুলি এখনও বন্ধ মডেলগুলির ক্ষমতার সাথে পুরোপুরি প্রতিদ্বন্দ্বিতা করে না, তারা দ্রুত অগ্রগতি করছে। আমরা বিশ্বাস করি যে ওপেন মডেলের বিপরীতে কার্যকর করার জন্য বিদ্যমান কোডকে পিভট করা সহজ করার ফলে চাহিদা বৃদ্ধি পাবে এবং এই অগ্রগতিকে আরও জ্বালানি দেবে।
গত কয়েক মাস ধরে, আমরা কার্যকারিতা বাড়াতে এবং সামঞ্জস্য উন্নত করতে এই শেষ পয়েন্টগুলিকে প্রসারিত করার জন্য প্রচেষ্টা বিনিয়োগ করেছি। আজ, ল্যামাফাইল বিভিন্ন ধরণের ব্যবহারের ক্ষেত্রে OpenAI-এর ড্রপ-ইন প্রতিস্থাপন হিসাবে কাজ করতে পারে।
আমরা আমাদের API সার্ভারের ক্ষমতা আরও প্রসারিত করতে চাই, এবং আমরা ডেভেলপাররা কী চায় এবং প্রয়োজন তা শুনতে আগ্রহী। খোলা মডেলগুলি ব্যবহার করা থেকে আপনাকে কী আটকায়? আপনার কি বৈশিষ্ট্য, ক্ষমতা বা সরঞ্জাম প্রয়োজন? আমাদের জানান!
অন্যান্য ওপেন সোর্স এআই প্রকল্পের সাথে একীকরণ
অবশেষে, স্বাধীন ডেভেলপারদের দ্বারা গৃহীত এবং নেতৃস্থানীয় ওপেন সোর্স এআই প্রকল্পে (যেমন দোভাষী খুলুন) বিশেষ করে আমাদের নিজেদের জন্য প্রশংসা কেট সিলভারস্টেইন যারা PRs অবতরণ করে যা লামাফাইল সমর্থন যোগ করে ল্যাংচেইন এবং লামা ইনডেক্স (সাথে অটোজিপিটি শীঘ্রই আসছে)।
আপনি যদি ওপেন সোর্স এআই প্রকল্পের একজন রক্ষণাবেক্ষণকারী বা অবদানকারী হন যা আপনি মনে করেন যে লামাফাইল ইন্টিগ্রেশন থেকে উপকৃত হবে, আমরা কিভাবে সাহায্য করতে পারি তা আমাদের জানান.
আমাদের সাথে যোগ দিন!
লামাফাইল প্রকল্পটি সবেমাত্র শুরু হচ্ছে, এবং এটি ওপেন সোর্স AI সম্প্রদায়ে অবদান এবং অংশগ্রহণের জন্য Mozilla-এর পক্ষ থেকে একটি বড় নতুন উদ্যোগের প্রথম ধাপ। শীঘ্রই সে সম্পর্কে আমাদের আরও কিছু ভাগ করতে হবে, তবে আপাতত: আমি আপনাকে লামাফাইল প্রকল্পে আমাদের সাথে যোগ দেওয়ার জন্য আমন্ত্রণ জানাচ্ছি!
মোজিলার লামাফাইল টিম এবং সামগ্রিক লামাফাইল সম্প্রদায় উভয়ের সাথে সংযোগ করার সর্বোত্তম স্থানটি আমাদের ডিসকর্ড সার্ভারে শেষ হয়ে গেছে, যার রয়েছে শুধুমাত্র লামাফাইলের জন্য একটি ডেডিকেটেড চ্যানেল. এবং অবশ্যই, আপনার বর্ধিতকরণের অনুরোধ, সমস্যা, এবং PR আমাদের সর্বদা স্বাগত জানাই GitHub রেপো.
আমি আশা করি আপনি আমাদের সাথে যোগ দেবেন। পরের কয়েক মাস লামাফাইল এবং ওপেন সোর্স এআই উভয়ের জন্যই শেষের তুলনায় আরও আকর্ষণীয় এবং অপ্রত্যাশিত হতে চলেছে।
স্টিফেন মোজিলা বিল্ডার্সে ওপেন সোর্স এআই প্রকল্পের (লামাফাইল সহ) নেতৃত্ব দেন। তিনি আগে সামাজিক বুকমার্কিং অগ্রগামী del.icio.us পরিচালনা করেছিলেন; সহ-প্রতিষ্ঠিত স্টোরিয়াম, ব্লকবোর্ড এবং ফেয়ারস্পিন; এবং Yahoo অনুসন্ধান এবং BEA WebLogic-এ কাজ করেছে।
