Google, karmaşık öğrenme ve akıl yürütme dahil olmak üzere milyonlarca farklı görevi yerine getirebilecek bir AI mimarisi oluşturma çabasında bir atılım duyurdu. Yeni sistem, PaLM olarak adlandırılan Pathways Language Model olarak adlandırılıyor. PaLM, mevcut AI teknolojisinin mevcut durumundan daha iyi performans göstermenin yanı sıra dil ve muhakeme testlerinde insanları yenebilir. Ancak araştırmacılar, istemeden olumsuz etik sonuçlara yol açabilecek büyük ölçekli dil modellerinin doğasında bulunan sınırlamaları sarsamayacaklarına da dikkat çekiyor.
Arkaplan bilgisi
Sonraki birkaç bölüm, bu algoritmanın ne hakkında olduğunu netleştiren arka plan bilgileridir.
Birkaç Adımda Öğrenme
Birkaç adımlı öğrenme, derin öğrenmenin ötesine geçen bir sonraki öğrenme aşamasıdır. Google Beyin araştırmacısı Hugo Larochelle ( @hugo_larochelle ) , Meta-Öğrenme ile Birkaç Örnekten Genelleme ( video ) başlıklı bir sunumda, derin öğrenme ile sorunun, önemli miktarda veri gerektiren çok büyük miktarda veri toplamak zorunda olduklarını açıkladı. insan emeğinin. Derin öğrenmenin birçok görevi çözebilecek bir yapay zekaya giden yol olmayacağına dikkat çekti, çünkü derin öğrenme ile her görev, bir yapay zekanın öğrendiği her yetenek için öğrenilecek milyonlarca örneğe ihtiyaç duyar. Larochelle şöyle açıklıyor:
“… fikir şu ki, bu soruna çok doğrudan saldırmaya çalışacağız, bu az miktarda veriden genelleme yapma sorunu olan birkaç adımlı öğrenme sorunu. … sunacağım şeydeki ana fikir, bu öğrenme algoritmasının ne olduğunu N ile tanımlamaya çalışmak ve birkaç adımlı öğrenme yapmak için doğru algoritmanın ne olduğuna dair sezgimizi kullanmak yerine, aslında bu algoritmayı uçtan uca bir yol. İşte bu yüzden biz buna öğrenmeyi öğrenme diyoruz ya da ben buna meta öğrenme demeyi seviyorum.”
Az atış yaklaşımının amacı, insanların daha önce hiç karşılaşılmamış yeni sorunları çözmek için farklı şeyleri nasıl öğrendiklerini ve farklı bilgi parçalarını nasıl birlikte uygulayabileceklerini tahmin etmektir. Bu durumda avantaj, yeni sorunları çözmek için sahip olduğu tüm bilgiden yararlanabilen bir makinedir. PaLM örneğinde, bu yeteneğin bir örneği, daha önce hiç karşılaşmadığı bir şakayı açıklama yeteneğidir.
Yapay Zeka Yolları
Ekim 2021’de Google, Pathways adlı yeni bir AI mimarisinin hedeflerini ortaya koyan bir makale yayınladı. Pathways, AI sistemlerinin geliştirilmesinde devam eden ilerlemede yeni bir bölümü temsil ediyordu. Genel yaklaşım, belirli şeyleri çok iyi yapmak için eğitilmiş algoritmalar oluşturmaktı. Pathways yaklaşımı, tüm sorunları nasıl çözüleceğini öğrenerek çözebilecek tek bir yapay zeka modeli oluşturmak ve bu şekilde binlerce farklı görevi tamamlamak için binlerce algoritmayı eğitmenin daha az verimli yolundan kaçınmaktır. Pathways belgesine göre:
“Bunun yerine, yalnızca birçok ayrı görevi yerine getiremeyen, aynı zamanda yeni görevleri daha hızlı ve daha etkili bir şekilde öğrenmek için mevcut becerilerinden yararlanan ve bunları birleştiren bir model yetiştirmek istiyoruz. Bu şekilde, bir modelin bir görev üzerinde eğitim alarak öğrendiği şey – örneğin, havadan görüntülerin bir arazinin yüksekliğini nasıl tahmin edebileceğini öğrenmek – başka bir görevi öğrenmesine yardımcı olabilir – örneğin, sel sularının o araziden nasıl akacağını tahmin etmek.
Pathways, Google’ın makine öğrenimi ile insan öğrenimi arasındaki boşluğu kapatmak için yapay zekayı bir sonraki seviyeye taşıma yolunu tanımladı. Google’ın Pathways Language Model (PaLM) adı verilen en yeni modeli, bu sonraki adımdır ve bu yeni araştırma makalesine göre PaLM, AI alanında önemli bir ilerlemeyi temsil etmektedir.
Google PaLM’i Önemli Kılan Nedir?
PaLM, birkaç adımlı öğrenme sürecini ölçeklendirir. Araştırma makalesine göre:
“Büyük dil modellerinin, modeli belirli bir uygulamaya uyarlamak için gereken göreve özel eğitim örneklerinin sayısını büyük ölçüde azaltan, birkaç adımlı öğrenmeyi kullanarak çeşitli doğal dil görevlerinde dikkate değer performans elde ettiği gösterilmiştir. Ölçeğin birkaç adımlı öğrenme üzerindeki etkisini daha iyi anlamak için Pathways Language Model (PaLM) adını verdiğimiz 540 milyarlık, yoğun bir şekilde etkinleştirilen Transformer dil modelini eğittik.”
Mevcut teknolojiden daha iyi performans göstermeyen veya yalnızca kademeli bir iyileştirme sağlayan algoritmaları tanımlayan birçok araştırma makalesi yayınlanmıştır. PaLM’de durum böyle değil. Araştırmacılar, mevcut en iyi modeller üzerinde önemli gelişmeler olduğunu iddia ediyor ve hatta insan ölçütlerini geride bırakıyor. Bu başarı düzeyi, bu yeni algoritmayı dikkate değer kılan şeydir. Araştırmacılar şunları yazıyor:
“Yüzlerce dil anlama ve oluşturma kıyaslamasında son teknoloji birkaç adımda öğrenme sonuçları elde ederek ölçeklendirmenin devam eden faydalarını gösteriyoruz. Bu görevlerin birçoğunda, PaLM 540B, çok adımlı bir dizi akıl yürütme görevinde en son teknolojiye ait ince ayardan daha iyi performans göstererek ve yakın zamanda piyasaya sürülen BIG-bench benchmarkında ortalama insan performansını geride bırakarak çığır açan bir performans elde eder. Önemli sayıda BÜYÜK çalışma masası görevi, model ölçeğinde süreksiz iyileştirmeler gösterdi; bu, en büyük modelimize ölçeklenirken performansın hızla arttığı anlamına geliyor.”
PaLM, İngilizce doğal dil işleme görevlerinde en son teknolojiden daha iyi performans gösterir ve bu da PaLM’yi önemli ve dikkate değer kılar. 150’den fazla görevden (muhakeme, çeviri, soru cevaplama ile ilgili) oluşan BIG-bench adlı ortak bir kıyaslamada PaLM, son teknolojiden daha iyi performans gösterdi, ancak başarılı olmadığı alanlar da vardı. Kayda değer bir nokta, insan performansının görevlerin, özellikle matematikle ilgili görevlerin %35’inde PaLM’den daha fazla puan almasıdır (bkz. PaLM, başka bir dili İngilizce’ye çevirmede, İngilizce’yi diğer dillere çevirmekten daha iyiydi. Araştırmacılar, bunun daha çok dilli verilere öncelik verilerek çözülebilecek yaygın bir sorun olduğunu belirtti. Yine de, PaLM diğer dil modellerinden ve insanlardan çok daha iyi performans gösterdi.
Akıl Yeteneği
Özellikle not, aritmetik ve sağduyulu akıl yürütme görevleriyle performansıydı. Aritmetik görev örneği:
- Soru: Roger’ın 5 tenis topu var. 2 kutu daha tenis topu alır. Her kutuda 3 tenis topu vardır. Şimdi kaç tane tenis topu var?
- Cevap: Cevap 11’dir.
Sağduyulu akıl yürütme örneği:
- Soru: Sean eve gitmek için acele ediyordu ama ışık sarıya döndü ve ne yapmak zorunda kaldı?
- Cevap Seçenekleri: (a) zaman ayırın (b) oyalayın (c) yavaş gidin (d) okyanus (e) yavaşlayın
- Cevap: Cevap (e) yavaşla.
Açıklama Üretmek
PaLM’nin açıklama üretme testlerinde ne kadar gelişmiş olduğunun bir başka olağanüstü örneği. Araştırma makalesi bunu şöyle açıklıyor:
“Bu bölümün amacı, mantıksal çıkarım zincirleme, dünya bilgisi, soyut dil anlayışı ve sözlükbilimsel dil anlayışının (örn. kelime oyunları) karmaşık bir kombinasyonunu gerektiren istemler için açıklayıcı dil üretimi ile ilgili olarak PaLM’nin yeteneklerini sergilemektir.”
Şaka Açıklamaları
İşte bir şakayı açıklayan dil modeline bir örnek:
- Şaka: 6 Nisan’da ailemi ziyarete uçacaktım. Annem “Ah harika, üvey babanın şiir okuması o gece!” dedi. Şimdi 7 Nisan’da uçuyorum.
- Model Açıklama: Şaka, konuşmacının annesinin onları üvey babasının şiir okumasına gitmeye ikna etmeye çalışmasıdır, ancak konuşmacı gitmek istemez, bu yüzden uçuşlarını şiir okumasından sonraki güne değiştirirler.
çıkarım
İşte bir cevap oluşturmak için birden çok kavram ve varlığın doğru bir şekilde birleştirilmesi ve dikkate alınması gereken bir çıkarım zinciri örneği.
- Girdi: Guido bir Python programı yazıyordu . Değişken kapsamla kafası karışıyor ve StackOverflow’ta arıyor. İstemdeki Guido’nun Guido van Rossum’a atıfta bulunması mümkün mü?
- Model Çıktısı: Guido van Rossum, Python’un yaratıcısıdır. StackOverflow’ta değişken kapsamı aramasına gerek kalmayacaktı. Cevap hayır”.”
İşte bir örnek daha:
- Girdi: Jennifer penceresinden dışarı baktı ve altında gerçekten harika bir bulut gördü. Emniyet kemerini çözer ve banyoya gider. Jennifer muhtemelen dünyaya göre saatte 300 milden fazla mı seyahat ediyor?
- Model Çıkışı: Saatte 300 mil, yaklaşık 480 km/s’dir. Bu, ticari bir uçağın hızı ile ilgilidir. Bulutlar genellikle uçakların altındadır, bu nedenle Jennifer muhtemelen bir uçaktadır.
- Cevap Evet”.”
Yeni Nesil Arama Motoru?
PaLM’nin karmaşık muhakeme yeteneğinin yukarıdaki örneği, yeni nesil bir arama motorunun internetten ve diğer kaynaklardan gelen bilgileri kullanarak karmaşık cevapları nasıl yanıtlayabileceğini göstermektedir. Çevremizdeki dünyayı yansıtan cevaplar üretebilen bir AI mimarisine ulaşmak, Google Pathways’in belirtilen hedeflerinden biridir ve PaLM bu yönde atılmış bir adımdır. Ancak araştırmanın yazarları, PaLM’nin AI ve arama konusunda son söz olmadığını vurguladı. PaLM’nin Pathways’in öngördüğü bir sonraki tür arama motoruna doğru ilk adım olduğunu belirtmekte açıktılar. Daha fazla ilerlemeden önce, PaLM’nin ne hakkında olduğunu anlamak için anlaşılması önemli olan iki kelime var, tabiri caizse jargon.
- modaliteler
- genelleme
“ Kipler ” kelimesi , okunan metin, görülen görüntüler, dinlenen şeyler gibi şeylerin nasıl deneyimlendiğine veya içinde bulundukları duruma bir göndermedir. Makine öğrenimi bağlamındaki “ genelleme ” kelimesi, bir dil modelinin daha önce eğitilmemiş olduğu görevleri çözme yeteneği ile ilgilidir. Araştırmacılar şunları kaydetti:
“PaLM, Pathways’i Google’da ve ötesinde ML ölçeklemenin geleceği olarak kurma vizyonumuzun yalnızca ilk adımıdır. PaLM’nin, çoklu modalitelerde geniş genelleştirme yeteneklerine sahip olacak büyük ölçekli, modülerleştirilmiş bir sistem geliştirme nihai hedefimizde güçlü bir temel oluşturduğuna inanıyoruz.”
Gerçek Dünya Riskleri ve Etik Hususlar
Bu araştırma makalesinde farklı olan bir şey, araştırmacıların etik hususlar hakkında uyarmasıdır. Web verileri üzerinde eğitilmiş büyük ölçekli dil modellerinin web üzerinde yayılan “toksik” stereotiplerin ve sosyal eşitsizliklerin çoğunu emdiğini ve PaLM’nin bu istenmeyen etkilere karşı dayanıklı olmadığını belirtiyorlar. Araştırma makalesi, büyük ölçekli dil modellerinin aşağıdaki zararları nasıl teşvik edebileceğini araştıran 2021 tarihli bir araştırma makalesinden alıntı yapıyor:
- Ayrımcılık, Dışlama ve Toksisite
- Bilgi Tehlikeleri
- Yanlış Bilgi Zararları
- Kötü Amaçlı Kullanımlar
- İnsan-Bilgisayar Etkileşiminin Zararları
- Otomasyon, Erişim ve Çevresel Zararlar
Son olarak, araştırmacılar PaLM’nin gerçekten de toksik sosyal stereotipleri yansıttığını ve bu önyargıları filtrelemenin zor olduğunu açıkça ortaya koyduğunu belirtti. PaLM araştırmacıları şunları açıklıyor:
“Analizimiz, eğitim verilerimizin ve dolayısıyla PaLM’nin, kimlik terimleri etrafındaki çeşitli sosyal stereotipleri ve toksisite ilişkilerini yansıttığını ortaya koyuyor. Bununla birlikte, bu çağrışımları kaldırmak önemsiz değildir… Gelecekteki çalışmalar, verilerdeki bu tür istenmeyen önyargılarla ve bunların model davranışı üzerindeki etkileriyle etkin bir şekilde mücadele etmelidir. Bu arada, aşağı yöndeki görevler için herhangi bir gerçek dünya PaLM kullanımı, potansiyel zararları değerlendirmek ve uygun azaltma ve korumaları sağlamak için daha fazla bağlama dayalı adalet değerlendirmeleri yapmalıdır.
PaLM, yeni nesil aramanın nasıl görüneceğine dair bir bakış olarak görülebilir. PaLM, en son teknolojiyi en iyi şekilde kullanmak için olağanüstü iddialarda bulunuyor, ancak araştırmacılar, yanlış bilgilerin zararlı yayılmasını, toksik stereotipleri ve diğer istenmeyen sonuçları azaltmanın bir yolunu bulmak da dahil olmak üzere, yapılacak daha çok iş olduğunu da belirtiyorlar.
Google PaLM Algoritması: Yeni Nesil Aramaya Giden Yol