Phi süni intellekt modeli Microsoft - kiçik, ucuz və "halüsinasiyalar"dan əziyyət çəkmir. Böyük gələcəyi proqnozlaşdırılan yeni dil modeli haqqında belə deyirlər.
GPT tamamilə əladır, lakin eyni zamanda, olduqca bahalıdır və hər kəs üçün mükəmməl ola bilməz. Bu və bir çox başqa səbəblərə görə Microsoft daha kiçik AI modelləri ilə təcrübələr aparır. Phi-3-mini OpenAI mühəndislərinin işini belə utandırdığı deyilir.
Həmçinin maraqlıdır: Gələcəyin tranzistorları: Bizi çiplərin yeni dövrü gözləyir
ChatGPT panacea deyil
ChatGPT maliyyələşdirilən, seçilmiş və təkmilləşdirilmiş bir ixtiradır Microsoft. Əslində, aid deyil Microsoft, və OpenAI şirkəti olan Microsoft sahibi deyil (ən böyük olmasa da aparıcı investordur). GPT dil modeli verdi Microsoft indi yetişməyə tələsən digər böyük texnoloji korporasiyalar üzərində nəhəng üstünlük. Bununla belə, GPT ilə bağlı çoxlu sayda problem var, onların çoxunu hələ həll etmək mümkün deyil.
Əvvəla, bu, çox resurs tələb edən bir dil modelidir. Veb yönümlü Microsoft OpenAI-nin Copilot və ya ChatGPT çox yüksək əməliyyat xərcləri yaradır Microsoft. Bu, təkcə GPT-nin deyil, həm də bütün əsas dil modellərinin xüsusiyyətidir. Bundan əlavə, GPT, rəqibləri kimi, "hallüsinasiyalara" meyllidir, yəni yalan və ya yanlış məlumat ehtiva edən sorğulara cavablar yarada bilər. Belə bir model nə qədər çox məlumat udursa, bir o qədər də oxşar məzmun yaratmağa meyllidir. Buna görə də, halüsinasiyalar və yalan ifadələr rəqəmsal barmaqdan sovrulmuş mif deyil. İstifadəçilər tez-tez qeyd edirlər ki, böyük dil modelləri tez-tez səhvlərə yol verir, qeyri-dəqiq məlumatlar verir və mövcud olmayan faktlar üzərində işləyir.
Hər iki problem çox ciddidir, buna görə də OpenAI, Microsoft, Meta, Google və digərləri təkcə Böyük Dil Modeli texnologiyasını deyil, həm də praktikada daha yaxşı nəticələr verə bilən Kiçik Dil Modelini inkişaf etdirmək üzərində işləyirlər.
Rəqəmsal mühasib köməkçisinin kvant fizikası haqqında çox şey bilməsinə ehtiyac yoxdur. Bu, daha kiçik və daha az mürəkkəb ola bilər (və buna görə də daha ucuzdur) və yalnız onun məqsədi üçün lazım olan məlumatlar üzərində təlim keçməklə, nəzəri olaraq daha az hallüsinasiya etməlidir. Baxmayaraq ki, bunu söyləmək etməkdən daha asandır. GenAI texnologiyası hələ də vəhşi İT müəssisəsidir. Və iş görünməmiş bir sürətlə getsə də, fundamental məsələlərdə praktiki olaraq irəliləyişlər etmək hələ də çətindir. Amma şirkət Microsoft bu yaxınlarda belə bir irəliləyiş elan etdi. Söhbət kiçik bir dil modelindən gedir Microsoft Phi.
Həmçinin maraqlıdır: Tayvan, Çin və ABŞ texnoloji üstünlük üçün necə mübarizə aparır: böyük çip müharibəsi
Nə məlumdur Microsoft Phi
İlk öncə onu qeyd edək ki, eksperiment OpenAI şirkətinin iştirakı olmadan aparılıb. Yəni mühəndislərin inkişafıdır Microsoft.
Modellər Microsoft Phi müxtəlif testlərdə müstəsna nəticələr əldə edən bir sıra kiçik dil modelləridir (SLM). Birinci model, Phi-1, 1,3 milyard parametrə malik idi və mövcud SLM-lər arasında ən yaxşı Python kodlaşdırma nəticələrini əldə etdi.
Tərtibatçılar daha sonra 1.5 milyard parametrə malik olan və parametrləri beş dəfə çox olan modellərlə müqayisə oluna bilən performans göstərən Phi-1,3 modelini yaradaraq, dil anlama və düşünməyə diqqət yetirdilər.
Phi-2, 2,7 milyard parametri ilə ən yaxşı baza modelləri səviyyəsində çıxış edərək, mükəmməl düşünmə və dil anlama imkanlarını nümayiş etdirən 13 milyard parametr modelidir. Phi-2 digər modellər arasında model miqyası və verilənlərin kurasiyası üzrə təlimlərdəki yenilikləri ilə seçilir.
O, dil modelləri sahəsində tədqiqat və inkişafı asanlaşdıran Azure AI Studio model kataloqunda mövcuddur. Phi-2 2023-cü ilin dekabrında buraxılıb. Tərtibatçılar onun Meta-dan Mistral və ya llama 2 kimi işlədiyini əmin edirlər. Və Phi-3 əvvəlki versiyadan daha yaxşı işləyir.
Ancaq yeni elan edilən Phi-3 modeli keyfiyyətcə tamamilə yenidir. Ən azından verilən məlumatlardan belə nəticə çıxara bilərsiniz Microsoft. Şirkətin məlumatına görə, bütün məlum etalonların göstəricilərinə görə, Phi-3 oxşar ölçülü istənilən digər modeldən, o cümlədən dil təhlili, proqramlaşdırma işi və ya riyazi işlərdən daha yaxşı performans göstərir.
Bu modelin ən kiçik versiyası olan Phi-3-mini indicə bütün maraqlı tərəflər üçün əlçatan oldu. Yəni aprelin 23-dən istifadəyə verilib. Phi-3-mini ölçmələrə görə 3,8 milyard parametrə malikdir Microsoft, eyni ölçülü hər hansı digər modeldən iki dəfə səmərəlidir. Onu bulud xidmətinin süni intellekt modelləri kataloqunda tapmaq olar Microsoft Azure, Hugging Face maşın öyrənmə model platforması və Ollama, yerli kompüterdə modelləri idarə etmək üçün çərçivə.
İddia etdiyi kimi Microsoft, Phi-3-mini güclü çiplər tələb etmir Nvidia. Model adi kompüter çipləri üzərində işləyə bilər. Və ya İnternetə qoşulmayan bir telefona belə uyğun gəlir.
Daha az güc eyni zamanda modellərin o qədər də dəqiq olmayacağı anlamına gəlir. Phi-3 həkimlər və ya vergi mühasibləri üçün uyğun olmayacaq, lakin daha sadə işlərdə kömək edəcək. Məsələn, İnternetdə reklamı hədəfləmək və ya rəyləri ümumiləşdirmək üçün.
Kiçik modellər daha az emal tələb etdiyindən, özəl şirkətlər üçün istifadə etmək daha ucuz olacaq. Yəni, in Microsoft AI-ni işlərinə cəlb etmək istəyən, lakin bunu çox baha hesab edən müştərilər daha çox olacaq. Lakin onların neçəyə başa gələcəyi hələlik bəlli deyil.
Kiçik və orta modellərin nə vaxt görünəcəyi hələ məlum deyil. Ancaq sonuncu daha güclü və daha bahalı olacaq. Phi-3-small-ın 7 milyard, Phi-3-medium-un isə 14 milyard parametrə sahib olacağı artıq məlum olsa da.
Həmçinin oxuyun:
- Qrafen mikroçipləri telefonları daha sürətli və asan edəcək
- Sadə sözlərlə kvant kompüterləri haqqında
Phi-3-mini necə istifadə etmək olar?
GPT-4 Turbo hələ də çox bahalı olan güclü AI çipləri tələb edir. Phi-3 kiçik nitq modeli, hətta mobil telefondakı çiplə belə, oflayn rejimdə, buludsuz işləyə bilər.
Phi-3 son istifadəçilər üçün məhsul deyil, tərtibatçıların tətbiqlərində istifadə edə və tətbiq edə biləcək bir texnologiyadır - həm bulud əsaslı, yəni uzaqdan yerləşən, həm də yerli və oflayn işləyənlər. Onun mobil telefonlar, avtomobillər və onların məlumat-əyləncə sistemləri, hətta IoT sensorları kimi cihazlar və onların komponentləri ilə problemsiz işləməsi gözlənilir. Bəzi ssenarilərdə bu texnologiya əvəzolunmaz ola bilər.
Microsoft hətta konkret misal da verir ki, təxəyyülümüzü yormayaq. Təsəvvür edin ki, fermer öz məhsullarını yoxlayır və yarpaqlarda, gövdələrdə və budaqlarda xəstəlik əlamətləri görür. Telekommunikasiya dirəklərindən uzaqda olduğu üçün o, sadəcə telefonunu çıxartmalı, zədənin şəklini çəkməli, onu Phi-3 texnologiyasından istifadə edən proqrama yerləşdirməlidir - və model tez və oflayn rejimdə fotoşəkili təhlil edəcək və məsləhətlər verəcək. bu xəstəliklə necə dəqiq mübarizə aparmaq olar.
Onun izah etdiyi kimi Microsoft, GPT-nin uğurunun açarı təlim üçün çoxlu məlumatlardan istifadə etmək idi. Belə böyük məlumat dəstləri ilə yüksək məlumat keyfiyyətindən söhbət gedə bilməz. Bu arada, Phi modelini öyrədərkən, tam əksi OpenAI yanaşmasından istifadə edildi. Modeli məlumatla sıxışdırmaq əvəzinə, diqqət artan və hərtərəfli öyrənməyə yönəldi.
Xam İnternet məlumatlarından istifadə etmək əvəzinə, tədqiqatçılar Microsoft milyonlarla miniatür "körpə" hekayələri yaradan TinyStories verilənlər bazasını yaratdı. Bu hekayələr çox kiçik dil modelləri hazırlamaq üçün istifadə edilmişdir. Tədqiqatçılar daha sonra təhsil dəyəri və məzmun keyfiyyəti üçün süzgəcdən keçirilmiş diqqətlə seçilmiş, ictimaiyyətə açıq məlumatlardan istifadə edən CodeTextbook verilənlər bazasını yaratmaqla daha da irəli getdilər. Bu məlumatlar daha sonra bir neçə dəfə süzüldü və sonrakı sintez üçün böyük dil modelinə (LLM) qaytarıldı.
Bütün bunlar daha bacarıqlı SLM hazırlamaq üçün kifayət qədər məlumat toplusunu yaratmağa imkan verdi. Bundan əlavə, Phi-3 modelinin işlənib hazırlanmasında qiymətləndirmə, sınaq və əl ilə düzəlişlər daxil olmaqla risklərin idarə edilməsi və azaldılması üçün çoxsəviyyəli yanaşmadan istifadə edilmişdir. Nəticədə, iddia etdiyi kimi Microsoft, Phi-3 model ailəsindən istifadə edən tərtibatçılar daha təhlükəsiz və etibarlı proqramlar yaratmaq üçün Azure AI-də mövcud alətlər dəstindən istifadə edə bilərlər.
Həmçinin oxuyun: Elmi baxımdan teleportasiya və onun gələcəyi
Microsoft Phi ChatGPT tipli modelləri əvəz edəcəkmi?
Dəyməz. Kiçik dil modelləri (SLMs), hətta yüksək keyfiyyətli məlumatlar üzərində öyrədilsə belə, öz məhdudiyyətlərinə malikdir və dərin öyrənmə üçün nəzərdə tutulmayıb. Böyük dil modelləri (LLM) ölçüsünə və hesablama gücünə görə mürəkkəb mülahizələrdə SLM-lərdən üstündür. LLM-lər geniş elmi məqalə kolleksiyalarını axtarmalı və mürəkkəb nümunələri təhlil etməli olan dərmanların kəşfi kimi sahələrdə xüsusilə faydalıdır və olacaq. Digər tərəfdən, SLM uzun mətn sənədinin əsas məqamlarını ümumiləşdirmək, məzmun yaratmaq və ya müştəri xidməti chatbotlarını gücləndirmək kimi daha sadə tapşırıqlar üçün istifadə edilə bilər.
MicrosoftOnun sözlərinə görə, artıq daxili olaraq hibrid model dəstlərindən istifadə edir, burada LLM liderlik edir, daha az hesablama gücü tələb edən müəyyən sorğuları SLM-ə yönləndirir, digər, daha mürəkkəb sorğuları özü idarə edir. Phi buluddan istifadə etmədən cihazlarda hesablamalar üçün yerləşdirilib. Bununla belə, kiçik dil modelləri ilə buludda böyük modellərlə əldə edilə bilən zəka səviyyəsi arasında hələ də boşluq qalacaq. LLM-nin davamlı inkişafı sayəsində bu boşluğun tezliklə yox olacağı ehtimalı azdır.
Phi-3 hələ də xarici müstəqil tərəflər tərəfindən yoxlanılmamışdır. Microsoft bəzən olduqca inanılmaz səslənən rəqiblərlə müqayisədə ekstremal hallarda 25 dəfə yüksək səmərəlilik və ya enerji səmərəliliyi haqqında danışır. Baxmayaraq ki, digər tərəfdən, bu illərin keçdiyini unutmaq olmaz Microsoft İT innovasiyalarında aydın lider olmasından bizi bir az ayırdı və bəlkə də buna görə də buna inanmırıq. Yaratmaq əvəzinə dərhal cavab verən və oflayn işləyən AI əsaslı proqramlar? Bu, indiki inqilabın layiqli kulminasiyası olardı. Təəssüf ki, bir əsas problem var.
Həmçinin oxuyun: Neuralink Telepatiya çipi haqqında hər şey: bu nədir və necə işləyir
Phi-3-dən Microsoft yalnız ingilis dilini başa düşür
Phi-3 ona atılan petabaytları kütləvi şəkildə udmadı. Modelin diqqətli və ciddi təlimi kiçik bir problemi əhatə edir. Phi-3 ingilis dilində məlumatla öyrədilib və hələ başqa dil haqqında heç bir fikri yoxdur. Təkcə ukrayna deyil, həm də alman, ispan, fransız və ya çin. Əlbəttə ki, bu, dünyanın əksər istifadəçiləri üçün onun cəlbediciliyini xeyli azaldır.
Amma in Microsoft inkişafı və təkmilləşdirilməsi istiqamətində işlərin davam etdirildiyini əmin etmişdir. Baxmayaraq ki, Ukrayna bazarının hər hansı böyük korporasiya üçün prioritet olması ilə özünüzü aldatmamalısınız. Ona görə də Ukrayna dilinin dəstəyini çox uzun müddət gözləməli olacağıq. Amma bu fakt həvəskarları və tərəqqi ilə ayaqlaşmaq istəyənləri heç vaxt dayandırmayıb.
Həmçinin oxuyun: