BLENDERBOT MANŞETLERE ÇIKIYOR

Ağustos 2022'nin başlarında piyasaya sürülmesinden bu yana, Meta'nın yapay zeka (AI) odaklı araştırma projesi Blenderbot manşetlere çıkıyor. Bir sohbet botu olan Blenderbot’un insanlar, şirketler ve siyaset hakkındaki açıklamaları beklenmedik ve bazen radikal görünüyor. Bu, makine öğrenmesinin (ML) önemli zorluklarından biri ve işlerinde ML kullanan kuruluşların bununla özellikle ilgilenmesi gerekiyor.

Diğer benzer projeler daha önce Blenderbot’un yaşadığına benzer problemle karşı karşıya kaldı. Örneğin Microsoft'un Twitter için hazırladığı sohbet botu Tay ırkçı açıklamalarıyla dikkat çekmişti. Bu, internetten gelen metinler ve görüntüler üzerinde eğitilen makine öğrenimi modellerinin zayıf noktasını yansıtıyor. Çıktılarını inandırıcı kılmak için çok büyük ham veri kümeleri kullanıyorlar, ancak bu tür modeller web üzerinde eğitildikleri takdirde yakaladığı önyargıları davranışlarına yansıtıyorlar.

Şimdiye kadar bu projeler çoğunlukla araştırma ve bilim amacıyla ortaya koyuluyordu. Bununla birlikte kuruluşlar artık dil modellerini müşteri desteği, çeviri, pazarlama metni yazma, metin düzeltme ve benzeri alanlarda kullanıyorlar. Bu modelleri daha az önyargılı hale getirmek için geliştiriciler, eğitim için kullanılan veri kümelerini düzenleyebilirler. Ancak web üzerindeki veri kümeleri söz konusu olduğunda bu çok zordur. Yüz kızartıcı hataları önlemek için ilgili belgeleri kaldırmak, modelin bunları öğrenmesini önlemek için belirli kelimeleri veya ifadeleri verinin dışında tutmak adına önyargılara karşı veriyi filtrelemek gerekir. Diğer bir yaklaşım, modelin şüpheli metin oluşturması durumunda uygun olmayan çıktıları kullanıcılara ulaşmadan filtrelemektir.

Daha geniş açıdan bakıldığında koruma mekanizmaları önyargıların ötesinde herhangi bir ML modeli için gereklidir. Geliştiriciler modeli eğitmek için açık verileri kullanırsa, özel hazırlanmış, hatalı biçimlendirilmiş verilerin saldırganlar tarafından veri kümesine eklendiği "veri zehirlenmesi" adı verilen tekniğin kurbanı olabilirler. Sonuç olarak model bazı olayları tanımlayamayacak, onları başkalarıyla karıştıracak ve yanlış kararlar verecektir.

Kaspersky Baş Veri Bilimcisi Vladislav Tushkanov, şunları söylüyor: “Çok fazla çaba ve uzmanlık gerektirmesi nedeniyle gerçekte bu tür tehditler nadir olsa da, şirketlerin hala önleyici tedbirler alması gerekiyor. Bu aynı zamanda eğitim modelleri sürecindeki hataları en aza indirmeye yardımcı olacaktır. Öncelikle kuruluşların eğitim için hangi verilerin kullanıldığını ve nereden geldiğini bilmeleri gerekiyor. Ayrıca çeşitlendirilmiş verilerin kullanılması zehirlenmeyi daha da zorlaştırır. Son olarak, modeli devreye almadan önce kapsamlı bir şekilde test etmek ve performansını sürekli olarak izlemek önemlidir."

Kuruluşlar, makine öğrenimi sistemlerine yönelik tehditler hakkında özel bir bilgi kaynağı olan MITRE ATLAS'a da başvurabilirler. ATLAS ayrıca ML saldırılarında kullanılan bir taktik ve teknik matrisi sağlar.

Kaspersky'de olası güvenlik açıklarını ortaya çıkarmak, hasarı görmek ve bu tür bir saldırı riskinin nasıl azaltılacağını anlamak için siber saldırıları taklit ederek istenmeyen posta önleme ve kötü amaçlı yazılım algılama sistemlerimiz üzerinde belirli testler gerçekleştirdik.

Makine öğrenimi, Kaspersky ürün ve hizmetlerinde tehditlerin tespiti, Kaspersky SOC'de uyarı analizi veya üretim süreci korumasında anormallik tespiti amacıyla yaygın olarak kullanılmaktadır. Kaspersky ürünlerinde makine öğrenimi kullanımı hakkında daha fazla bilgi edinmek için bu sayfayı ziyaret edin.