সম্পাদক দ্বারা চিত্র
আমরা প্রতি সপ্তাহে বৃহৎ ভাষার মডেল (LLMs) থুতু ফেলতে দেখেছি, আমাদের ব্যবহারের জন্য আরও বেশি বেশি চ্যাটবট রয়েছে। যাইহোক, কোনটি সেরা, প্রতিটিতে অগ্রগতি এবং কোনটি সবচেয়ে দরকারী তা বের করা কঠিন।
জড়িয়ে আছে একটি ওপেন এলএলএম লিডারবোর্ড রয়েছে যা এলএলএমগুলিকে ট্র্যাক করে, মূল্যায়ন করে এবং র্যাঙ্ক করে যখন সেগুলি প্রকাশ করা হচ্ছে৷ তারা একটি অনন্য ফ্রেমওয়ার্ক ব্যবহার করে যা বিভিন্ন মূল্যায়নের কাজগুলিতে জেনারেটিভ ভাষার মডেলগুলি পরীক্ষা করতে ব্যবহৃত হয়।
সাম্প্রতিককালে, LLaMA (লার্জ ল্যাঙ্গুয়েজ মডেল মেটা এআই) লিডারবোর্ডের শীর্ষে ছিল এবং সম্প্রতি একটি নতুন প্রাক-প্রশিক্ষিত LLM - Falcon 40B দ্বারা বাদ দেওয়া হয়েছে৷
দ্বারা চিত্র HuggingFace ওপেন LLM লিডারবোর্ড
ফ্যালকন এলএলএম দ্বারা প্রতিষ্ঠিত এবং নির্মিত হয় প্রযুক্তি উদ্ভাবন ইনস্টিটিউট (TII), একটি কোম্পানি যেটি আবুধাবি সরকারের উন্নত প্রযুক্তি গবেষণা কাউন্সিলের অংশ। সরকার সমগ্র সংযুক্ত আরব আমিরাতে প্রযুক্তি গবেষণার তত্ত্বাবধান করে, যেখানে বিজ্ঞানী, গবেষক এবং প্রকৌশলীদের দল বিজ্ঞানে রূপান্তরকারী প্রযুক্তি এবং আবিষ্কারগুলি প্রদানের উপর ফোকাস করে।
Falcon-40B 40B প্যারামিটার সহ একটি ভিত্তিগত LLM, এক ট্রিলিয়ন টোকেনের প্রশিক্ষণ৷ Falcon 40B একটি অটোরিগ্রেসিভ ডিকোডার-কেবল মডেল। একটি অটোরিগ্রেসিভ ডিকোডার-শুধু মডেলের মানে হল যে মডেলটিকে পূর্ববর্তী টোকেনগুলি দেওয়া একটি ক্রমানুসারে পরবর্তী টোকেনের পূর্বাভাস দেওয়ার জন্য প্রশিক্ষিত করা হয়। জিপিটি মডেল এর একটি ভালো উদাহরণ।
Falcon এর স্থাপত্য প্রশিক্ষণ গণনা বাজেটের মাত্র 3% জন্য GPT-75 কে উল্লেখযোগ্যভাবে ছাড়িয়ে গেছে, সেইসাথে শুধুমাত্র প্রয়োজন? অনুমান সময়ে গণনার.
টেকনোলজি ইনোভেশন ইন্সটিটিউটের দলের একটি গুরুত্বপূর্ণ ফোকাস ছিল ডেটার গুণমান, কারণ আমরা জানি যে LLMগুলি প্রশিক্ষণ ডেটার গুণমানের প্রতি অত্যন্ত সংবেদনশীল। দলটি একটি ডেটা পাইপলাইন তৈরি করেছে যা দ্রুত প্রক্রিয়াকরণের জন্য হাজার হাজার CPU কোরে স্কেল করেছে এবং ব্যাপক ফিল্টারিং এবং ডিডপ্লিকেশন ব্যবহার করে ওয়েব থেকে উচ্চ-মানের সামগ্রী বের করতে সক্ষম হয়েছে।
তাদের আরও একটি ছোট সংস্করণ রয়েছে: Falcon-7B যার 7B প্যারামিটার রয়েছে, 1,500B টোকেনে প্রশিক্ষিত। পাশাপাশি a Falcon-40B-নির্দেশ, এবং Falcon-7B-নির্দেশ মডেলগুলি উপলব্ধ, যদি আপনি একটি ব্যবহার করার জন্য প্রস্তুত চ্যাট মডেল খুঁজছেন।
ফ্যালকন 40B কি করতে পারে?
অন্যান্য LLM-এর মতো, Falcon 40B করতে পারে:
- সৃজনশীল বিষয়বস্তু তৈরি করুন
- জটিল সমস্যার সমাধান করুন
- গ্রাহক সেবা কার্যক্রম
- ভার্চুয়াল সহকারীরা
- ভাষা অনুবাদ
- অনুভূতির বিশ্লেষণ.
- "পুনরাবৃত্ত" কাজ হ্রাস এবং স্বয়ংক্রিয় করুন।
- আমিরাতি কোম্পানিগুলোকে আরও দক্ষ হতে সাহায্য করুন
কিভাবে Falcon 40B প্রশিক্ষিত হয়েছিল?
1 ট্রিলিয়ন টোকেনে প্রশিক্ষণ দেওয়া হচ্ছে, এটির জন্য AWS-এ দুই মাসের মধ্যে 384 GPU-এর প্রয়োজন। 1,000 বি টোকেন এর উপর প্রশিক্ষিত রিফাইন্ডওয়েব, TII দ্বারা নির্মিত একটি বিশাল ইংরেজি ওয়েব ডেটাসেট।
প্রাক-প্রশিক্ষণ ডেটা ব্যবহার করে ওয়েব থেকে পাবলিক ডেটার একটি সংগ্রহ নিয়ে গঠিত কমনক্রল. টিমটি মেশিন-জেনারেটেড টেক্সট মুছে ফেলার জন্য একটি পুঙ্খানুপুঙ্খ ফিল্টারিং পর্বের মধ্য দিয়ে গেছে, এবং প্রায় পাঁচ ট্রিলিয়ন টোকেনের একটি প্রাক-প্রশিক্ষণ ডেটাসেট তৈরি করার জন্য প্রাপ্তবয়স্কদের সামগ্রীর পাশাপাশি যেকোনো ডিডপ্লিকেশনকে একত্রিত করা হয়েছিল।
CommonCrawl-এর উপরে নির্মিত, RefinedWeb ডেটাসেট কিউরেটেড ডেটাসেটগুলিতে প্রশিক্ষিত মডেলগুলির তুলনায় আরও ভাল পারফরম্যান্স অর্জন করতে মডেলগুলি দেখিয়েছে। রিফাইন্ডওয়েবও মাল্টিমোডাল-বান্ধব।
এটি প্রস্তুত হয়ে গেলে, Falcon ওপেন-সোর্স বেঞ্চমার্ক যেমন EAI হারনেস, HELM, এবং BigBench এর বিরুদ্ধে যাচাই করা হয়েছিল।
তাদের আছে ওপেন সোর্সড ফ্যালকন এলএলএম জনসাধারণের কাছে, ফ্যালকন 40B এবং 7B গবেষক এবং বিকাশকারীদের কাছে আরও অ্যাক্সেসযোগ্য করে তোলে কারণ এটি Apache লাইসেন্স সংস্করণ 2.0 রিলিজের উপর ভিত্তি করে তৈরি করা হয়েছে।
এলএলএম যা একসময় শুধুমাত্র গবেষণা এবং বাণিজ্যিক ব্যবহারের জন্য ছিল, এখন AI-তে অন্তর্ভুক্তিমূলক অ্যাক্সেসের বৈশ্বিক চাহিদা মেটাতে ওপেন সোর্স হয়ে উঠেছে। এটি এখন বাণিজ্যিক ব্যবহারের বিধিনিষেধের জন্য রয়্যালটি মুক্ত, কারণ সংযুক্ত আরব আমিরাত AI এর মধ্যে চ্যালেঞ্জ এবং সীমানা পরিবর্তন করতে প্রতিশ্রুতিবদ্ধ এবং ভবিষ্যতে এটি কীভাবে গুরুত্বপূর্ণ ভূমিকা পালন করে।
AI এর বিশ্বে সহযোগিতা, উদ্ভাবন এবং জ্ঞান ভাগ করে নেওয়ার একটি ইকোসিস্টেম গড়ে তোলার লক্ষ্যে, Apache 2.0 নিরাপত্তা এবং নিরাপদ ওপেন সোর্স সফ্টওয়্যার নিশ্চিত করে।
আপনি যদি Falcon-40B-এর একটি সহজ সংস্করণ চেষ্টা করতে চান যা একটি চ্যাটবটের শৈলীতে জেনেরিক নির্দেশাবলীর জন্য আরও উপযুক্ত, আপনি Falcon-7B ব্যবহার করতে চান।
চল শুরু করা যাক…
আপনি যদি ইতিমধ্যেই না করে থাকেন তবে নিম্নলিখিত প্যাকেজগুলি ইনস্টল করুন:
!pip install transformers
!pip install einops
!pip install accelerate
!pip install xformers
একবার আপনি এই প্যাকেজগুলি ইনস্টল করার পরে, আপনি প্রদত্ত কোডটি চালানোর জন্য এগিয়ে যেতে পারেন ফ্যালকন 7-বি নির্দেশ:
from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch model = "tiiuae/falcon-7b-instruct" tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline( "text-generation", model=model, tokenizer=tokenizer, torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto",
)
sequences = pipeline( "Girafatron is obsessed with giraffes, the most glorious animal on the face of this Earth. Giraftron believes all other animals are irrelevant when compared to the glorious majesty of the giraffe.nDaniel: Hello, Girafatron!nGirafatron:", max_length=200, do_sample=True, top_k=10, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id,
)
for seq in sequences: print(f"Result: {seq['generated_text']}")
উপলব্ধ সেরা ওপেন-সোর্স মডেল হিসাবে দাঁড়িয়ে, Falcon LLaMAs মুকুট নিয়েছে, এবং লোকেরা তার দৃঢ়ভাবে অপ্টিমাইজ করা আর্কিটেকচারে বিস্মিত হয়েছে, একটি অনন্য লাইসেন্স সহ ওপেন সোর্স, এবং এটি দুটি আকারে উপলব্ধ: 40B এবং 7B প্যারামিটার৷
আপনি একটি চেষ্টা ছিল? আপনার যদি থাকে, তাহলে আপনি কি মনে করেন তা আমাদের মন্তব্যে জানান।
নিশা আর্য একজন ডেটা সায়েন্টিস্ট, ফ্রিল্যান্স টেকনিক্যাল রাইটার এবং KDnuggets-এর কমিউনিটি ম্যানেজার। তিনি বিশেষ করে ডেটা সায়েন্স ক্যারিয়ার পরামর্শ বা টিউটোরিয়াল এবং ডেটা সায়েন্সের আশেপাশে তত্ত্ব ভিত্তিক জ্ঞান প্রদানে আগ্রহী। তিনি কৃত্রিম বুদ্ধিমত্তা মানব জীবনের দীর্ঘায়ু লাভ করতে পারে এমন বিভিন্ন উপায় অন্বেষণ করতে চান। একজন প্রখর শিক্ষার্থী, তার প্রযুক্তি জ্ঞান এবং লেখার দক্ষতা প্রসারিত করতে চাচ্ছে, অন্যদের গাইড করতে সাহায্য করার সময়।
ফ্যালকন এলএলএম: দ্য নিউ কিং অফ ওপেন-সোর্স এলএলএম - কেডিনুগেটস
প্লেটো দ্বারা প্রকাশিত
সম্পাদক দ্বারা চিত্র
আমরা প্রতি সপ্তাহে বৃহৎ ভাষার মডেল (LLMs) থুতু ফেলতে দেখেছি, আমাদের ব্যবহারের জন্য আরও বেশি বেশি চ্যাটবট রয়েছে। যাইহোক, কোনটি সেরা, প্রতিটিতে অগ্রগতি এবং কোনটি সবচেয়ে দরকারী তা বের করা কঠিন।
জড়িয়ে আছে একটি ওপেন এলএলএম লিডারবোর্ড রয়েছে যা এলএলএমগুলিকে ট্র্যাক করে, মূল্যায়ন করে এবং র্যাঙ্ক করে যখন সেগুলি প্রকাশ করা হচ্ছে৷ তারা একটি অনন্য ফ্রেমওয়ার্ক ব্যবহার করে যা বিভিন্ন মূল্যায়নের কাজগুলিতে জেনারেটিভ ভাষার মডেলগুলি পরীক্ষা করতে ব্যবহৃত হয়।
সাম্প্রতিককালে, LLaMA (লার্জ ল্যাঙ্গুয়েজ মডেল মেটা এআই) লিডারবোর্ডের শীর্ষে ছিল এবং সম্প্রতি একটি নতুন প্রাক-প্রশিক্ষিত LLM - Falcon 40B দ্বারা বাদ দেওয়া হয়েছে৷
দ্বারা চিত্র HuggingFace ওপেন LLM লিডারবোর্ড
ফ্যালকন এলএলএম দ্বারা প্রতিষ্ঠিত এবং নির্মিত হয় প্রযুক্তি উদ্ভাবন ইনস্টিটিউট (TII), একটি কোম্পানি যেটি আবুধাবি সরকারের উন্নত প্রযুক্তি গবেষণা কাউন্সিলের অংশ। সরকার সমগ্র সংযুক্ত আরব আমিরাতে প্রযুক্তি গবেষণার তত্ত্বাবধান করে, যেখানে বিজ্ঞানী, গবেষক এবং প্রকৌশলীদের দল বিজ্ঞানে রূপান্তরকারী প্রযুক্তি এবং আবিষ্কারগুলি প্রদানের উপর ফোকাস করে।
Falcon-40B 40B প্যারামিটার সহ একটি ভিত্তিগত LLM, এক ট্রিলিয়ন টোকেনের প্রশিক্ষণ৷ Falcon 40B একটি অটোরিগ্রেসিভ ডিকোডার-কেবল মডেল। একটি অটোরিগ্রেসিভ ডিকোডার-শুধু মডেলের মানে হল যে মডেলটিকে পূর্ববর্তী টোকেনগুলি দেওয়া একটি ক্রমানুসারে পরবর্তী টোকেনের পূর্বাভাস দেওয়ার জন্য প্রশিক্ষিত করা হয়। জিপিটি মডেল এর একটি ভালো উদাহরণ।
Falcon এর স্থাপত্য প্রশিক্ষণ গণনা বাজেটের মাত্র 3% জন্য GPT-75 কে উল্লেখযোগ্যভাবে ছাড়িয়ে গেছে, সেইসাথে শুধুমাত্র প্রয়োজন? অনুমান সময়ে গণনার.
টেকনোলজি ইনোভেশন ইন্সটিটিউটের দলের একটি গুরুত্বপূর্ণ ফোকাস ছিল ডেটার গুণমান, কারণ আমরা জানি যে LLMগুলি প্রশিক্ষণ ডেটার গুণমানের প্রতি অত্যন্ত সংবেদনশীল। দলটি একটি ডেটা পাইপলাইন তৈরি করেছে যা দ্রুত প্রক্রিয়াকরণের জন্য হাজার হাজার CPU কোরে স্কেল করেছে এবং ব্যাপক ফিল্টারিং এবং ডিডপ্লিকেশন ব্যবহার করে ওয়েব থেকে উচ্চ-মানের সামগ্রী বের করতে সক্ষম হয়েছে।
তাদের আরও একটি ছোট সংস্করণ রয়েছে: Falcon-7B যার 7B প্যারামিটার রয়েছে, 1,500B টোকেনে প্রশিক্ষিত। পাশাপাশি a Falcon-40B-নির্দেশ, এবং Falcon-7B-নির্দেশ মডেলগুলি উপলব্ধ, যদি আপনি একটি ব্যবহার করার জন্য প্রস্তুত চ্যাট মডেল খুঁজছেন।
ফ্যালকন 40B কি করতে পারে?
অন্যান্য LLM-এর মতো, Falcon 40B করতে পারে:
কিভাবে Falcon 40B প্রশিক্ষিত হয়েছিল?
1 ট্রিলিয়ন টোকেনে প্রশিক্ষণ দেওয়া হচ্ছে, এটির জন্য AWS-এ দুই মাসের মধ্যে 384 GPU-এর প্রয়োজন। 1,000 বি টোকেন এর উপর প্রশিক্ষিত রিফাইন্ডওয়েব, TII দ্বারা নির্মিত একটি বিশাল ইংরেজি ওয়েব ডেটাসেট।
প্রাক-প্রশিক্ষণ ডেটা ব্যবহার করে ওয়েব থেকে পাবলিক ডেটার একটি সংগ্রহ নিয়ে গঠিত কমনক্রল. টিমটি মেশিন-জেনারেটেড টেক্সট মুছে ফেলার জন্য একটি পুঙ্খানুপুঙ্খ ফিল্টারিং পর্বের মধ্য দিয়ে গেছে, এবং প্রায় পাঁচ ট্রিলিয়ন টোকেনের একটি প্রাক-প্রশিক্ষণ ডেটাসেট তৈরি করার জন্য প্রাপ্তবয়স্কদের সামগ্রীর পাশাপাশি যেকোনো ডিডপ্লিকেশনকে একত্রিত করা হয়েছিল।
CommonCrawl-এর উপরে নির্মিত, RefinedWeb ডেটাসেট কিউরেটেড ডেটাসেটগুলিতে প্রশিক্ষিত মডেলগুলির তুলনায় আরও ভাল পারফরম্যান্স অর্জন করতে মডেলগুলি দেখিয়েছে। রিফাইন্ডওয়েবও মাল্টিমোডাল-বান্ধব।
এটি প্রস্তুত হয়ে গেলে, Falcon ওপেন-সোর্স বেঞ্চমার্ক যেমন EAI হারনেস, HELM, এবং BigBench এর বিরুদ্ধে যাচাই করা হয়েছিল।
তাদের আছে ওপেন সোর্সড ফ্যালকন এলএলএম জনসাধারণের কাছে, ফ্যালকন 40B এবং 7B গবেষক এবং বিকাশকারীদের কাছে আরও অ্যাক্সেসযোগ্য করে তোলে কারণ এটি Apache লাইসেন্স সংস্করণ 2.0 রিলিজের উপর ভিত্তি করে তৈরি করা হয়েছে।
এলএলএম যা একসময় শুধুমাত্র গবেষণা এবং বাণিজ্যিক ব্যবহারের জন্য ছিল, এখন AI-তে অন্তর্ভুক্তিমূলক অ্যাক্সেসের বৈশ্বিক চাহিদা মেটাতে ওপেন সোর্স হয়ে উঠেছে। এটি এখন বাণিজ্যিক ব্যবহারের বিধিনিষেধের জন্য রয়্যালটি মুক্ত, কারণ সংযুক্ত আরব আমিরাত AI এর মধ্যে চ্যালেঞ্জ এবং সীমানা পরিবর্তন করতে প্রতিশ্রুতিবদ্ধ এবং ভবিষ্যতে এটি কীভাবে গুরুত্বপূর্ণ ভূমিকা পালন করে।
AI এর বিশ্বে সহযোগিতা, উদ্ভাবন এবং জ্ঞান ভাগ করে নেওয়ার একটি ইকোসিস্টেম গড়ে তোলার লক্ষ্যে, Apache 2.0 নিরাপত্তা এবং নিরাপদ ওপেন সোর্স সফ্টওয়্যার নিশ্চিত করে।
আপনি যদি Falcon-40B-এর একটি সহজ সংস্করণ চেষ্টা করতে চান যা একটি চ্যাটবটের শৈলীতে জেনেরিক নির্দেশাবলীর জন্য আরও উপযুক্ত, আপনি Falcon-7B ব্যবহার করতে চান।
চল শুরু করা যাক…
আপনি যদি ইতিমধ্যেই না করে থাকেন তবে নিম্নলিখিত প্যাকেজগুলি ইনস্টল করুন:
একবার আপনি এই প্যাকেজগুলি ইনস্টল করার পরে, আপনি প্রদত্ত কোডটি চালানোর জন্য এগিয়ে যেতে পারেন ফ্যালকন 7-বি নির্দেশ:
উপলব্ধ সেরা ওপেন-সোর্স মডেল হিসাবে দাঁড়িয়ে, Falcon LLaMAs মুকুট নিয়েছে, এবং লোকেরা তার দৃঢ়ভাবে অপ্টিমাইজ করা আর্কিটেকচারে বিস্মিত হয়েছে, একটি অনন্য লাইসেন্স সহ ওপেন সোর্স, এবং এটি দুটি আকারে উপলব্ধ: 40B এবং 7B প্যারামিটার৷
আপনি একটি চেষ্টা ছিল? আপনার যদি থাকে, তাহলে আপনি কি মনে করেন তা আমাদের মন্তব্যে জানান।
নিশা আর্য একজন ডেটা সায়েন্টিস্ট, ফ্রিল্যান্স টেকনিক্যাল রাইটার এবং KDnuggets-এর কমিউনিটি ম্যানেজার। তিনি বিশেষ করে ডেটা সায়েন্স ক্যারিয়ার পরামর্শ বা টিউটোরিয়াল এবং ডেটা সায়েন্সের আশেপাশে তত্ত্ব ভিত্তিক জ্ঞান প্রদানে আগ্রহী। তিনি কৃত্রিম বুদ্ধিমত্তা মানব জীবনের দীর্ঘায়ু লাভ করতে পারে এমন বিভিন্ন উপায় অন্বেষণ করতে চান। একজন প্রখর শিক্ষার্থী, তার প্রযুক্তি জ্ঞান এবং লেখার দক্ষতা প্রসারিত করতে চাচ্ছে, অন্যদের গাইড করতে সাহায্য করার সময়।
আরও এই বিষয়
🔴 বিটকয়েন শীর্ষ 10 করে | এই সপ্তাহে ক্রিপ্টোতে - মার্চ 4, 2024
মোমেন্ট ফ্যাক্টরি কনসার্টের অভিজ্ঞতার পুনর্বিবেচনা করার জন্য গোলকের পরবর্তী প্রজন্মের প্রযুক্তি ব্যবহার করে
ল্যান্ডো নরিস হ্যামিল্টন – অটোব্লগ থেকে F1 চাইনিজ গ্র্যান্ড প্রিক্স স্প্রিন্ট পোল নিয়েছেন
'পর্তুগাল ইতিমধ্যে F-35-এ স্থানান্তর শুরু করেছে' পর্তুগিজ বিমান বাহিনী প্রধান বলেছেন
ক্রিপ্টোকারেন্সি ব্যবসায়ী $110 মিলিয়ন আমের বাজার শোষণের জন্য জালিয়াতির জন্য দোষী সাব্যস্ত হয়েছেন – CryptoInfoNet
বিটকয়েন পাইওনিয়ার হ্যাল ফিনি মরণোত্তর তার জন্য নতুন পুরস্কার জিতেছে
RWDG ওয়েবিনার: ডেটা গভর্নেন্সের উপর মেটাডেটা ম্যানেজমেন্টের প্রভাব – ডেটাভারসিটি
লিডিং ক্রিপ্টোকারেন্সি এক্সচেঞ্জ বিটালপ্লাস, ইনহেরিটিং ট্রাস্ট এবং অগ্রগতি