আমরা সবেমাত্র মুক্তি দিয়েছি লামাফাইল 0.8.14আমাদের জনপ্রিয় ওপেন সোর্স এআই টুলের সর্বশেষ সংস্করণ। ক মজিলা বিল্ডার্স প্রকল্পLlamafile মডেলের ওজনকে দ্রুত, সুবিধাজনক এক্সিকিউটেবলে পরিণত করে যা বেশিরভাগ কম্পিউটারে চলে, যার ফলে যে কেউ তাদের কাছে ইতিমধ্যে থাকা হার্ডওয়্যার ব্যবহার করে খোলা LLM থেকে সর্বাধিক সুবিধা পেতে পারে৷
নতুন চ্যাট ইন্টারফেস
এই নতুন রিলিজের মূল বৈশিষ্ট্য আমাদের রঙিন নতুন কমান্ড লাইন চ্যাট ইন্টারফেস. আপনি যখন একটি লামাফাইল চালু করেন তখন আমরা এখন স্বয়ংক্রিয়ভাবে টার্মিনালে আপনার জন্য এই নতুন চ্যাট UI খুলব৷ এই নতুন ইন্টারফেসটি দ্রুত, সহজে ব্যবহার করা যায় এবং আমরা পূর্বে ডিফল্টরূপে চালু করা ওয়েব-ভিত্তিক ইন্টারফেসের চেয়ে সহজ অভিজ্ঞতা। (সেই ইন্টারফেস, যা আমাদের প্রজেক্ট আপস্ট্রিম llama.cpp প্রোজেক্ট থেকে উত্তরাধিকারসূত্রে পেয়েছে, এখনও উপলব্ধ এবং ইমেজ আপলোড সহ বিভিন্ন বৈশিষ্ট্য সমর্থন করে। শুধু লোকালহোস্টে আপনার ব্রাউজারকে পোর্ট 8080 এ নির্দেশ করুন)।
অন্যান্য সাম্প্রতিক উন্নতি
এই নতুন চ্যাট UI আইসবার্গের টিপ মাত্র। এখানে আমাদের শেষ ব্লগ পোস্টের পর মাসগুলিতে, প্রধান বিকাশকারী জাস্টিন টুনি বেশ কয়েকটি নতুন রিলিজ পাঠানোর জন্য ব্যস্ত রয়েছে, যার প্রতিটি গুরুত্বপূর্ণ উপায়ে প্রকল্পটিকে এগিয়ে নিয়ে গেছে। এখানে শুধুমাত্র কয়েকটি হাইলাইট রয়েছে:
লামাফিলার: আমরা আমাদের নিজস্ব ক্লিন শীট OpenAI- সামঞ্জস্যপূর্ণ API সার্ভার তৈরি করছি, যাকে বলা হয় লামাফিলার. এই নতুন সার্ভার হবে আরো নির্ভরযোগ্য, স্থিতিশীল এবং সবচেয়ে বেশি দ্রুত এটি প্রতিস্থাপনের চেয়ে। আমরা ইতিমধ্যেই এম্বেডিং এন্ডপয়েন্ট পাঠিয়েছি, যা চলে তিনগুণ দ্রুত llama.cpp-এ এক হিসাবে। জাস্টিন বর্তমানে সমাপ্তির এন্ডপয়েন্টে কাজ করছে, যেখানে Llamafiler Llamafile-এর জন্য ডিফল্ট API সার্ভার হয়ে উঠবে।
কর্মক্ষমতা উন্নতি: k-quant উদ্ভাবকের মত ওপেন সোর্স অবদানকারীদের সাহায্যে @ কাওরাকো লামাফাইল গত কয়েক মাসে নাটকীয় গতি বৃদ্ধির একটি সিরিজ উপভোগ করেছে। বিশেষ করে, প্রি-ফিল (প্রম্পট মূল্যায়ন) গতি বিভিন্ন ধরনের আর্কিটেকচারে নাটকীয়ভাবে উন্নত হয়েছে:
- Intel Core i9 100 টোকেন/সেকেন্ড থেকে 400 (4x) হয়েছে।
- AMD Threadripper 300 টোকেন/সেকেন্ড থেকে 2,400 (8x) হয়েছে।
- এমনকি সাধারণ রাস্পবেরি পাই 5 8 টোকেন/সেকেন্ড থেকে 80 (10x!) এ লাফিয়ে উঠেছে।
উপরে বর্ণিত নতুন হাই-স্পিড এমবেডিং সার্ভারের সাথে মিলিত হলে, Llamafile জটিল স্থানীয় AI অ্যাপ্লিকেশনগুলি চালানোর একটি দ্রুততম উপায় হয়ে উঠেছে যা পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) এর মতো পদ্ধতি ব্যবহার করে৷
শক্তিশালী নতুন মডেলের জন্য সমর্থন: Llamafile খোলা LLM-এ অগ্রগতির সাথে তাল মিলিয়ে চলতে থাকে, ডজন ডজন নতুন মডেল এবং আর্কিটেকচারের জন্য সমর্থন যোগ করে, যার আকার 405 বিলিয়ন প্যারামিটার থেকে 1 বিলিয়ন পর্যন্ত নেমে আসে। এখানে মাত্র কয়েকটি নতুন লামাফাইল রয়েছে Hugging Face এ ডাউনলোডের জন্য উপলব্ধ:
- লামা 3.2 1 বি এবং 3B: তাদের ছোট আকারের জন্য অত্যন্ত চিত্তাকর্ষক কর্মক্ষমতা এবং মানের প্রস্তাব। (এখানে একটি ভিডিও আমাদের নিজস্ব মাইক হেভারস থেকে এটি কর্মে দেখানো হচ্ছে।)
- লামা 3.1 405B: একটি সত্যিকারের “সীমান্ত মডেল” যা চালানো সম্ভব বাড়িতে পর্যাপ্ত সিস্টেম RAM সহ।
- OlMo 7B: আমাদের বন্ধুদের থেকে অ্যালেন ইনস্টিটিউটOLMO হল প্রথম সত্যিকারের উন্মুক্ত এবং স্বচ্ছ মডেলগুলির মধ্যে একটি।
- ট্রাইএলএম: একটি নতুন “1.58 বিট” ছোট মডেল যা CPU অনুমানের জন্য অপ্টিমাইজ করা হয়েছে এবং একটি অদূর ভবিষ্যতের দিকে নির্দেশ করে যেখানে ম্যাট্রিক্স গুণন আর দিন শাসন করতে পারে না।
হুইস্পারফাইল, একক ফাইলে স্পিচ-টু-টেক্সট: সম্প্রদায়ের সদস্যদের থেকে অবদানের জন্য ধন্যবাদ @cjpaisআমরা তৈরি করেছি ফিসফিসযা whisper.cpp-এর জন্য করে যা Llamafile llama.cpp-এর জন্য করেছিল: অর্থাৎ, এটিকে একটি মাল্টি-প্ল্যাটফর্ম এক্সিকিউটেবলে পরিণত করে যা প্রায় সর্বত্র চলে। Whisperfile এইভাবে ওপেনএআই-এর হুইস্পার প্রযুক্তি ব্যবহার করা সহজ করে তোলে দক্ষতার সাথে বক্তৃতাকে টেক্সটে রূপান্তর করতে, আপনার যে ধরনের হার্ডওয়্যারই হোক না কেন।
জড়িত হন
অত্যাধুনিক স্থানীয়ভাবে চলমান AI অ্যাপ্লিকেশন তৈরির জন্য Llamafile একটি শক্ত ভিত্তি হয়ে ওঠার জন্য আমাদের লক্ষ্য। নতুন Llamafiler সার্ভারে জাস্টিনের কাজ সেই সমীকরণের একটি বড় অংশ, তবে নতুন মডেলগুলিকে সমর্থন করার এবং যতটা সম্ভব ব্যবহারকারীর জন্য অনুমান কার্যকারিতা অপ্টিমাইজ করার চলমান কাজ। আমরা গর্বিত এবং কৃতজ্ঞ যে এই অঞ্চলে প্রকল্পের সবচেয়ে বড় অগ্রগতিগুলির মধ্যে কয়েকটি, এবং অন্যান্য, সম্প্রদায় থেকে এসেছে, যেমন অবদানকারীদের সাথে @ কাওরাকো, @cjpais, @মোফোসিনএবং @Djip007 নিয়মিতভাবে তাদের চিহ্ন রেখে যাচ্ছে।
আমরা তাদের এবং আমাদের সাথে যোগ দিতে আপনাকে আমন্ত্রণ জানাই। আমরা সমস্যা এবং PRs স্বাগত জানাই আমাদের GitHub রেপো. এবং আমরা আপনাকে Mozilla এর AI Discord সার্ভারের সদস্য হওয়ার জন্য স্বাগত জানাই, যা আছে শুধুমাত্র লামাফাইলের জন্য একটি ডেডিকেটেড চ্যানেল যেখানে আপনি প্রজেক্ট টিমের সরাসরি অ্যাক্সেস পেতে পারেন। সেখানে আপনাকে দেখতে আশা করি!
স্টিফেন মোজিলা বিল্ডার্সে ওপেন সোর্স এআই প্রকল্পের (লামাফাইল সহ) নেতৃত্ব দেন। তিনি আগে সামাজিক বুকমার্কিং অগ্রগামী del.icio.us পরিচালনা করেছিলেন; সহ-প্রতিষ্ঠিত স্টোরিয়াম, ব্লকবোর্ড এবং ফেয়ারস্পিন; এবং Yahoo অনুসন্ধান এবং BEA WebLogic-এ কাজ করেছে।
