Yeni bir araştırmaya göre, araştırmacılar, beyin aktivitesinin “yüksek kaliteli” bir görüntüsünü yeniden oluşturmak için üretken yapay zekayı kullandılar.
Singapur Ulusal Üniversitesi ve Hong Kong Çin Üniversitesi’nden araştırmacılar Jiaxin Qing, Zijiao Chen ve Juan Helen Zhou, MinD-Video adlı bir model oluşturmak için fMRI verilerini ve metinden görüntüye verilerini işleyerek Stable Difusion yapay zeka modelini kullandılar. beyin okumalarından video oluşturur. . Çalışmayla ilgili makale, geçen hafta arXiv ön baskı sunucusunda yayınlandı.
Bilerek TEKRAR İZLENEN GÖRÜNTÜLER
Yazının ilgili internet sitesindeki temsilleri, deneklere gösterilen görüntüler ile yapay zekanın beyin aktivitelerinden yola çıkarak ürettiği görüntüler arasında paralellik gösteriyor. İki görüntünün ortasındaki farklar minimaldir ve çoğunlukla örnek değerlendirmeleri ve renk paletlerini içerir.
Araştırmacılar tarafından MinD-Video “Görüntü ve video beyin kod çözme arasındaki boşluğu kapatmak için tasarlanmış iki modüllü bir boru hattı”olarak tanımlanır.
Sistemi eğitmek için araştırmacılar, görüntüleri ve onları görüntüleyen deneklerin fMRI beyin okumalarını içeren halka açık bir veri seti kullandılar. “İki modüllü boru hattı”Eğitimli bir fMRI kodlayıcı ve yaygın olarak kullanılan bir peyzaj işleme yapay zeka modeli olan Stable Diffusion’ın ince ayarlı bir sürümünden oluşuyordu.
YÜKSEK KALİTELİ TRANSFER SAĞLANIR
Araştırmacılar tarafından yayınlanan görüntüler, bir tarladaki atların orijinal görüntüsünü ve ardından atların daha canlı renkli bir versiyonunun yeniden oluşturulmuş bir görüntüsünü gösteriyor. Başka bir görüntüde, bir araba ormanlık bir alandan geçiyor ve yeniden oluşturulmuş görüntü, virajlı bir yolda giden bir kişinin birinci şahıs görüntüsünü gösteriyor.
Araştırmacılar, yeniden oluşturulmuş görüntüleri hareketler ve sahne dinamikleri açısından analiz ettiler. “yüksek kalite”olduğunu tespit etti. Ayrıca görüntülerin yüzde 85 doğruluk oranına sahip olduğunu gösteriyor. ve bunun önceki yaklaşımlara göre bir gelişme olduğunu bildirdi.
yazarlar, “Nörobilimden beyin-bilgisayar arayüzlerine kadar büyük modeller geliştikçe, bu alanın umut verici uygulamalara sahip olduğuna inanıyoruz.”o yazdı.
ÇALIŞMA ÜÇ DEĞERLİ BULGUYU AYDINLATTI
Spesifik olarak, bu sonuçların üç ana bulguyu aydınlattığını söylediler. Bunlardan biri görsel korteksin baskın olması, beynin bu bölgesinin görsel algının değerli bir bileşeni olduğunu ortaya koymaktadır.
Diğeri ise, fMRI kodlayıcının yapısal bilgilerle başlayıp daha derin katmanlarda daha soyut ve görsel özelliklere doğru ilerleyen hiyerarşik bir şekilde çalışmasıdır.
Son olarak, yazarlar, fMRI kodlayıcının her öğrenme aşamasında geliştiğini ve eğitimlerine devam ettikçe daha incelikli bilgileri alma becerisini gösterdiğini buldular.
AKIL OKUMADA DÖNÜM NOKTASI OLARAK GÖRÜLÜYOR
Bu çalışmanın, esas olarak yapay zekayı kullanarak insanların zihnini okuma alanında bir başka ilerlemeyi temsil ettiği belirtildi.Daha önce, Osaka Üniversitesi’ndeki araştırmacılar, aynı zamanda fMRI verilerini ve Kararlı Difüzyonu kullanan bir teknikle beyin aktivitesinin yüksek çözünürlüklü görüntülerini yeniden oluşturabileceklerini keşfetmişlerdi.
Bu yeni araştırmadaki geliştirilmiş Kararlı Difüzyon modeli, görselleştirmeyi daha doğru hale getirir. “GAN’lar gibi diğer üretici modellerine göre kararlı difüzyon modelimizin en değerli avantajlarından biri, daha yüksek kaliteli görüntüler üretme yeteneğinde yatmaktadır.
“Araştırmacılar, fMRI kodlayıcı tarafından öğrenilen temsillerden yararlanıyor ve yalnızca üstün kalitede değil, aynı zamanda orijinal nöral aktiviteyle daha yakından uyumlu görüntüler üretmek için benzersiz difüzyon sürecini kullanıyor.”o yazdı.
