Sinirbilimciler Gelecekte İnsan Aklını Okuyabilecekler mi?

Pink Floyd'un "Another Brick in the Wall, Part 1" şarkısının akorları ameliyat odasını doldururken, Albany Tıp Merkezi'ndeki sinirbilimciler epilepsi ameliyatı geçiren hastaların beyinlerine yerleştirilen elektrotların aktivitesini özenle kaydetti.

Amaç? Müziğin ton, ritim, uyum ve kelimeler gibi özelliklerine göre ayarlanmış beyin bölgelerinin elektriksel aktivitesini yakalamak ve hastanın duyduklarını yeniden oluşturup oluşturamayacaklarını görmek.

On yıldan fazla bir süre sonra, Berkeley'deki Kaliforniya Üniversitesi'ndeki sinir bilimcilerin bu tür 29 hastadan elde edilen verilerin ayrıntılı analizinden sonra, cevap açıkça evet.

"Sonuç olarak, sadece duvardaki bir tuğlaydı" ifadesi, yeniden oluşturulan şarkıda fark edilebilir bir şekilde ortaya çıkıyor, ritimleri bozulmamış ve kelimeler çamurlu ama deşifre edilebilir. Araştırmacılar ilk kez beyin kayıtlarından tanınabilir bir şarkıyı yeniden oluşturdular.

Yeniden yapılanma, hecelerin yanı sıra konuşmanın müzikal unsurlarını da yakalamak için beyin dalgalarını kaydetmenin ve tercüme etmenin uygulanabilirliğini gösteriyor. İnsanlarda, prozodi adı verilen bu müzikal unsurlar (ritim, vurgu, vurgu ve tonlama), kelimelerin tek başına aktarmadığı anlamlar taşır.

Bu intrakranial elektroensefalografi (iEEG) kayıtları yalnızca beynin yüzeyinden (işitsel merkezlere mümkün olduğu kadar yakın) yapılabildiği için, yakın gelecekte kimse kafanızdaki şarkıları dinleyemeyecek.

Ancak felç veya felç nedeniyle iletişim sorunu yaşayan insanlar için, beyin yüzeyindeki elektrotlardan alınan bu tür kayıtlar, günümüzün robot benzeri yeniden yapılandırmalarında eksik olan konuşmanın müzikalitesinin yeniden üretilmesine yardımcı olabilir.

Araştırmayı doktora sonrası araştırmacı Ludovic Bellier ile birlikte yürüten, Helen Wills Nörobilim Enstitüsü'nde nörolog ve UC Berkeley psikoloji profesörü olan Robert Knight, "Bu harika bir sonuç" dedi. "Müzikle ilgili bana göre şeylerden biri de prozodi ve duygusal içeriğe sahip olmasıdır. Tüm bu beyin-makine arayüzleri alanı ilerledikçe, bu size ihtiyacı olan insanlar, ALS'li veya biri için gelecekteki beyin implantlarına müzikalite katmanın bir yolunu veriyor. konuşma çıktısını olumsuz etkileyen başka bir nörolojik veya gelişimsel bozukluk. Bu size sadece dilsel içeriği değil aynı zamanda konuşmanın prozodik içeriğinin bir kısmını, duygulanımın bir kısmını çözme yeteneği verir. Sanırım bu, gerçekten de bu sorunu çözmeye başladığımız şey. kodu açık."

Beyin kayıt teknikleri geliştikçe, belki bir gün kafa derisine takılan hassas elektrotlar kullanılarak beyni açmadan bu tür kayıtlar yapmak mümkün olabilir. Knight, şu anda kafa derisi EEG'sinin, bir harf akışından tek bir harfi tespit etmek için beyin aktivitesini ölçebildiğini, ancak yaklaşımın tek bir harfi tanımlamanın en az 20 saniye sürdüğünü ve bunun da iletişimi zahmetli ve zor hale getirdiğini söyledi.

"Noninvaziv teknikler bugün yeterince doğru değil. Umalım ki, hastalar için gelecekte sadece kafatasının dışına yerleştirilen elektrotlar aracılığıyla beynin daha derin bölgelerindeki aktiviteyi iyi bir sinyal kalitesiyle okuyabilelim. Ama biz bundan çok uzaktayız." oradan" dedi Bellier.

Bellier, Knight ve meslektaşları bugün sonuçları PLOS Biyoloji dergisinde bildirdiler ve "insan beynindeki müzik işleme anlayışımızın duvarına bir tuğla daha" eklediklerini belirttiler.

Aklını mı okuyorsun? Henüz değil.

Günümüzde insanların konuşamadıkları zaman iletişim kurmalarına yardımcı olmak için kullanılan beyin makinesi arayüzleri sözcüklerin şifresini çözebilir, ancak üretilen cümleler merhum Stephen Hawking'in konuşma üreten bir cihaz kullandığında çıkardığı sese benzeyen robotik bir kaliteye sahiptir.

Bellier, "Şu anda teknoloji daha çok zihin için bir klavyeye benziyor" dedi. "Düşüncelerinizi klavyeden okuyamazsınız. Düğmelere basmanız gerekir. Ve bu bir nevi robotik bir ses çıkarır; elbette benim ifade özgürlüğü dediğim şey daha az var."

Bellier'ın bilmesi gerekir. Çocukluğundan beri müzik çalıyor; davul, klasik gitar, piyano ve bas, bir noktada bir heavy metal grubunda performans sergiliyor. Knight ondan konuşmanın müzikalitesi üzerinde çalışmasını istediğinde Bellier şöyle dedi: "Teklifi aldığımda eminim çok heyecanlanmıştım."

2012 yılında Knight, doktora sonrası araştırmacı Brian Pasley ve meslektaşları, bir kişinin yalnızca beyin aktivitesinin kayıtlarından duyduğu kelimeleri yeniden yapılandıran ilk kişiler oldu.

Yakın zamanda diğer araştırmacılar Knight'ın çalışmasını çok daha ileri götürdüler. UC San Francisco beyin cerrahı ve 2012 tarihli makalenin kıdemli ortak yazarı Eddie Chang, felçli bir hastanın amaçladığı konuşmayı, görüntülenen kelimelerle yeniden yapılandırmak için beynin çene, dudak ve dil hareketleriyle ilişkili motor alanından gelen sinyalleri kaydetti. bir bilgisayar ekranında.

2021'de bildirilen bu çalışmada, 50 kelimelik bir diziye dayalı olarak bir cümleyi seslendirmeye çalışan bir hastanın beyin kayıtlarını yorumlamak için yapay zeka kullanıldı.

Chang'ın tekniği başarılı olsa da yeni çalışma, sesin tüm yönlerinin işlendiği beynin işitsel bölgelerinden yapılan kayıtların, insan iletişiminde önemli olan konuşmanın diğer yönlerini de yakalayabileceğini öne sürüyor.

Bellier, "Konuşmanın akustiğini oluşturmak için yapılan hareketlere daha yakın olan motor korteksin aksine, seslerin akustiğine daha yakın olan işitsel kortekslerden kod çözmek son derece umut verici." diye ekledi. "Kodu çözülen şeye biraz renk katacak."

Yeni çalışma için Bellier, 2012 ve 2013 yıllarında hastalara 1979 tarihli The Wall albümünden Pink Floyd şarkısının yaklaşık 3 dakikalık bir bölümü çalınırken elde edilen beyin kayıtlarını yeniden analiz etti . Kod çözme modellerinin farklı müzik parçalarını ve türlerini tanımlayıp tanımlayamayacağını test eden önceki çalışmaların ötesine geçerek müzik cümlelerini regresyona dayalı kod çözme modelleri aracılığıyla gerçekten yeniden yapılandırmayı umuyordu.

Bellier, beyin aktivitesinin kodunu çözmek ve ardından bir üremeyi kodlamak için yapay zekanın kullanıldığı çalışmanın, yalnızca konuşmayı sentezlemek için bir kara kutu yaratmadığını vurguladı. Kendisi ve meslektaşları aynı zamanda beynin ritmi tespit etmeyle ilgili yeni alanlarını (örneğin gitar sesi gibi) tespit edebildiler ve işitsel korteksin bazı bölümlerinin - kulağın hemen arkasında ve üstünde yer alan superior temporal girusta - keşfedildiğini keşfettiler. - bir sesin veya sentezleyicinin başlangıcında yanıt verirken, diğer alanlar sürekli vokallere yanıt verir.

Araştırmacılar ayrıca beynin sağ tarafının sol tarafa göre müziğe daha uyumlu olduğunu doğruladılar.

Knight, "Dil beyinde daha çok sol beyindedir. Müzik ise sağa doğru bir eğilimle daha fazla dağıtılır" dedi.

Bellier, "Müzikal uyaranlarla aynı şeyin olacağı belli değildi" dedi. "Yani burada bunun sadece konuşmaya özgü bir şey olmadığını, aynı zamanda işitsel sistem ve onun hem konuşmayı hem de müziği işleme biçimi için daha temel olduğunu onaylıyoruz."

Knight, felç veya beyin hasarı nedeniyle afazili bazı kişilerin, kendilerini ifade edecek kelimeleri bulamadıkları durumlarda şarkı söyleyerek iletişim kurmalarına olanak tanıyan beyin devrelerini anlamak için yeni araştırmalara başlıyor.