BERT ile Text Segmentasyon Ornegi

Reading Time: 1 minute

Bu yazimda, doktora arastirmamda kullandigim bir implementasyondan ornek paylasacagim. BERT, Google’in gelistirdigi ve Dogal Dil Isleme alaninda soru cevaplama, siniflandirma ve daha bircok alanda en basarili sonuclarin alinabildigi bir dil modelidir. Temel olarak Attention mekanizmasi olan Transformator’lari iceren bir mimarisi vardir.

Simdi BERT modelini bir yazi segmentasyonu problemini cozmek icin kullanalim. Yapacagimiz sey, daha onceden egitilmis BERT modelini, 2 cumleyi karsilastirarak bu cumlelerin ayni sinifta olup olmadigini anlayacak sekilde fine-tune etmek olacak.

Bu uygulamayi TensorFlow 1.13.2 versiyonu ile calistirdim. TensorFlow 2 kullanirsaniz Optimizer hatasi alabilirsiniz cunku versiyon 2nin backward compatibility problemleri var. Spesifik TensorFlow kutuphanesini calistirabilmek icin asagidaki komut ile gerekli package’lari indirebilirsiniz.

!pip install tensorflow==1.13.2
!pip install --upgrade tensorflow-hub

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.