Falcon LLM: اوپن سورس LLMs کا نیا بادشاہ - KDnuggets

تصویر بذریعہ ایڈیٹر
 

ہم اپنے استعمال کے لیے زیادہ سے زیادہ چیٹ بوٹس کے ساتھ ہر ہفتے بڑے لینگویج ماڈلز (LLMs) کو تھوکتے ہوئے دیکھ رہے ہیں۔ تاہم، یہ جاننا مشکل ہو سکتا ہے کہ کون سا بہترین ہے، ہر ایک پر پیش رفت اور کون سا سب سے زیادہ مفید ہے۔ 

گلے لگانے والا چہرہ ایک کھلا LLM لیڈر بورڈ ہے جو LLMs کو جاری کیے جانے پر ٹریک کرتا ہے، ان کا جائزہ لیتا ہے اور ان کی درجہ بندی کرتا ہے۔ وہ ایک انوکھا فریم ورک استعمال کرتے ہیں جو مختلف تشخیصی کاموں پر تخلیقی زبان کے ماڈلز کو جانچنے کے لیے استعمال ہوتا ہے۔ 

حال ہی میں، LLaMA (Large Language Model Meta AI) لیڈر بورڈ میں سرفہرست تھا اور اسے حال ہی میں ایک نئے پہلے سے تربیت یافتہ LLM - Falcon 40B نے ختم کر دیا ہے۔
 

تصویر کی طرف سے HuggingFace اوپن ایل ایل ایم لیڈر بورڈ

فالکن ایل ایل ایم کی طرف سے قائم اور تعمیر کیا گیا تھا ٹیکنالوجی انوویشن انسٹی ٹیوٹ (TII)، ایک کمپنی جو ابوظہبی حکومت کی ایڈوانسڈ ٹیکنالوجی ریسرچ کونسل کا حصہ ہے۔ حکومت پورے متحدہ عرب امارات میں ٹیکنالوجی کی تحقیق کی نگرانی کرتی ہے، جہاں سائنسدانوں، محققین اور انجینئروں کی ٹیم سائنس میں تبدیلی لانے والی ٹیکنالوجیز اور دریافتوں پر توجہ مرکوز کرتی ہے۔

Falcon-40B 40B پیرامیٹرز کے ساتھ ایک بنیادی LLM ہے، ایک ٹریلین ٹوکنز پر تربیت۔ Falcon 40B ایک آٹوریگریسو ڈیکوڈر صرف ماڈل ہے۔ صرف آٹوریگریسو ڈیکوڈر ماڈل کا مطلب یہ ہے کہ ماڈل کو پچھلے ٹوکن کے پیش نظر ترتیب میں اگلے ٹوکن کی پیشین گوئی کرنے کی تربیت دی جاتی ہے۔ GPT ماڈل اس کی ایک اچھی مثال ہے۔

Falcon کے فن تعمیر کو تربیتی کمپیوٹ بجٹ کے صرف 3% کے لیے GPT-75 کو نمایاں طور پر پیچھے چھوڑتے ہوئے دکھایا گیا ہے، اور ساتھ ہی اس کی ضرورت ہے؟ تخمینہ کے وقت کی گنتی کا۔

ٹیکنالوجی انوویشن انسٹی ٹیوٹ میں ڈیٹا کے معیار پر ٹیم کی ایک اہم توجہ تھی، جیسا کہ ہم جانتے ہیں کہ LLMs تربیتی ڈیٹا کے معیار کے لیے انتہائی حساس ہوتے ہیں۔ ٹیم نے ایک ڈیٹا پائپ لائن بنائی جو تیز رفتار پروسیسنگ کے لیے دسیوں ہزار CPU کور تک پہنچ گئی اور وسیع پیمانے پر فلٹرنگ اور ڈپلیکیشن کا استعمال کرتے ہوئے ویب سے اعلیٰ معیار کے مواد کو نکالنے میں کامیاب رہی۔

ان کے پاس ایک اور چھوٹا ورژن بھی ہے: Falcon-7B جس کے 7B پیرامیٹرز ہیں، جو 1,500B ٹوکنز پر تربیت یافتہ ہیں۔ aswell a Falcon-40B-ہدایت، اور Falcon-7B-ہدایت ماڈل دستیاب ہیں، اگر آپ استعمال کے لیے تیار چیٹ ماڈل تلاش کر رہے ہیں۔

Falcon 40B کیا کر سکتا ہے؟

دیگر LLMs کی طرح، Falcon 40B یہ کر سکتا ہے:

• تخلیقی مواد تیار کریں۔
• پیچیدہ مسائل کو حل کریں۔
• کسٹمر سروس آپریشنز
• ورچوئل اسسٹنٹس
• زبان کا ترجمہ
• جذبات کا تجزیہ۔
• "بار بار" کام کو کم اور خودکار کریں۔
• اماراتی کمپنیوں کو مزید موثر بننے میں مدد کریں۔

Falcon 40B کی تربیت کیسے کی گئی؟

1 ٹریلین ٹوکنز پر تربیت یافتہ ہونے کے بعد، اسے AWS پر دو ماہ کے دوران 384 GPUs کی ضرورت تھی۔ کے 1,000B ٹوکن پر تربیت دی گئی۔ ریفائنڈ ویبTII کی طرف سے بنایا گیا ایک وسیع انگریزی ویب ڈیٹاسیٹ۔ 

پری ٹریننگ ڈیٹا کا استعمال کرتے ہوئے، ویب سے عوامی ڈیٹا کا مجموعہ ہوتا ہے۔ کامن کرول. ٹیم نے مشین سے تیار کردہ متن کو ہٹانے کے لیے ایک مکمل فلٹرنگ کے مرحلے سے گزرا، اور بالغوں کے مواد کے ساتھ ساتھ تقریباً پانچ ٹریلین ٹوکنز کے پہلے سے تربیتی ڈیٹاسیٹ کو تیار کرنے کے لیے کسی بھی قسم کی نقل کو جمع کیا گیا۔

CommonCrawl کے اوپر بنایا گیا، RefinedWeb ڈیٹاسیٹ نے ماڈلز کو ان ماڈلز سے بہتر کارکردگی حاصل کرنے کے لیے دکھایا ہے جو کیوریٹڈ ڈیٹا سیٹس پر تربیت یافتہ ہیں۔ RefinedWeb ملٹی موڈل دوستانہ بھی ہے۔ 

ایک بار جب یہ تیار ہو گیا، Falcon کو اوپن سورس بینچ مارکس جیسے EAI Harness، HELM، اور BigBench کے خلاف توثیق کر دیا گیا۔

ان کے پاس اوپن سورس فالکن ایل ایل ایم عوام کے لیے، Falcon 40B اور 7B کو محققین اور ڈویلپرز کے لیے مزید قابل رسائی بناتا ہے کیونکہ یہ اپاچی لائسنس ورژن 2.0 ریلیز پر مبنی ہے۔ 

LLM جو کبھی صرف تحقیق اور تجارتی استعمال کے لیے تھا، اب AI تک جامع رسائی کی عالمی مانگ کو پورا کرنے کے لیے کھلا ذریعہ بن گیا ہے۔ اب یہ تجارتی استعمال کی پابندیوں کے لیے رائلٹی سے پاک ہے، کیونکہ UAE AI کے اندر چیلنجوں اور حدود کو تبدیل کرنے کے لیے پرعزم ہے اور یہ کہ مستقبل میں یہ کس طرح اہم کردار ادا کرتا ہے۔ 

AI کی دنیا میں تعاون، اختراع اور علم کے اشتراک کے ایکو سسٹم کو فروغ دینے کا مقصد، Apache 2.0 سیکیورٹی اور محفوظ اوپن سورس سافٹ ویئر کو یقینی بناتا ہے۔

اگر آپ Falcon-40B کا ایک آسان ورژن آزمانا چاہتے ہیں جو کہ چیٹ بوٹ کے انداز میں عام ہدایات کے لیے بہتر ہے، تو آپ Falcon-7B استعمال کرنا چاہتے ہیں۔

تو آئیے شروع کرتے ہیں…

اگر آپ کے پاس پہلے ہی نہیں ہے تو درج ذیل پیکیجز انسٹال کریں:

!pip install transformers
!pip install einops
!pip install accelerate
!pip install xformers

ایک بار جب آپ ان پیکیجز کو انسٹال کر لیتے ہیں، تو آپ اس کے لیے فراہم کردہ کوڈ کو چلانے کے لیے آگے بڑھ سکتے ہیں۔ Falcon 7-B ہدایات:

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch model = "tiiuae/falcon-7b-instruct" tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline( "text-generation", model=model, tokenizer=tokenizer, torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto",
)
sequences = pipeline( "Girafatron is obsessed with giraffes, the most glorious animal on the face of this Earth. Giraftron believes all other animals are irrelevant when compared to the glorious majesty of the giraffe.nDaniel: Hello, Girafatron!nGirafatron:", max_length=200, do_sample=True, top_k=10, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id,
)
for seq in sequences: print(f"Result: {seq['generated_text']}")

دستیاب بہترین اوپن سورس ماڈل کے طور پر کھڑے ہو کر، Falcon نے LLaMAs کا تاج حاصل کر لیا ہے، اور لوگ اس کے مضبوطی سے بہتر بنائے گئے فن تعمیر پر حیران رہ گئے ہیں، ایک منفرد لائسنس کے ساتھ اوپن سورس، اور یہ دو سائزوں میں دستیاب ہے: 40B اور 7B پیرامیٹرز۔

کیا آپ نے ایک کوشش کی ہے؟ اگر آپ کے پاس ہے تو ہمیں تبصرے میں بتائیں کہ آپ کیا سوچتے ہیں۔

 
 
نشا آریہ KDnuggets میں ڈیٹا سائنٹسٹ، فری لانس ٹیکنیکل رائٹر اور کمیونٹی مینیجر ہیں۔ وہ خاص طور پر ڈیٹا سائنس کیریئر کے مشورے یا سبق اور ڈیٹا سائنس کے بارے میں تھیوری پر مبنی علم فراہم کرنے میں دلچسپی رکھتی ہے۔ وہ مختلف طریقوں کو بھی دریافت کرنا چاہتی ہیں جن سے مصنوعی ذہانت انسانی زندگی کی لمبی عمر کو فائدہ پہنچا سکتی ہے۔ ایک شوقین سیکھنے والا، اپنے تکنیکی علم اور تحریری مہارتوں کو وسیع کرنے کی کوشش کر رہا ہے، جبکہ دوسروں کی رہنمائی میں مدد کرتا ہے۔
 

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• ای وی ایم فنانس۔ وکندریقرت مالیات کے لیے متحد انٹرفیس۔ یہاں تک رسائی حاصل کریں۔
• کوانٹم میڈیا گروپ۔ آئی آر/پی آر ایمپلیفائیڈ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 ڈیٹا انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://www.kdnuggets.com/2023/06/falcon-llm-new-king-llms.html?utm_source=rss&utm_medium=rss&utm_campaign=falcon-llm-the-new-king-of-open-source-llms