Birçok kullanıcının beğenilerini toplayarak (İşbirliği ) bir kullanıcının ilgilendikleri hakkında otomatik tahminlerde bulunma metoduna filtreleme denir.  İşbirlikçi filtreleme (İF) yaklaşımının altında yatan temel varsayım geçmişte kabul edilenlerin gelecekte de kabul edilebileceğidir.

Örneğin İşbirlikçi filtreleme veya tavsiye sistemi ile bir kullanıcının beğendiği, beğenmediği televizyon programları bir liste halinde ele alındığında, o kullanıcı için hangi televizyon programlarını sevebileceği kestirilebilir.  Bu tahminler kullanıcıya özeldir ancak birçok kullanıcıdan toplanan verilere dayanmaktadır.

Metodoloji

İşbirlikçi filtreleme sistemlerinin birçok biçimi vardır ancak en çok kullanılan biçimleri 2 adıma indirgenebilir.

1. Aktif kullanıcı (beğenileri kestirilen kişi ) ile aynı oylama desenlerine sahip kullanıcılara bak
2. Aktif kullanıcıya tahmin yapmak için 1. Adımda bulunan verilere bakılır.

Bu tip filtreleme işlemi kullanıcı bazlı İşbirlikçi filtrelemedir  ( User Based Collabrative filtering )

Alternatif olarak Öğe bazlı işbirlikçi filtreleme ( Item Based Collabrative filtering )  Amazon ile popüler olmuştur. ( X’i alan kullanıcılar ayrıca Y’yi de almıştır )

1. Öğeler arasındaki ilişkileri belirleyen öğe-öğe matrisi oluştur.
2. Aktif kullanıcıya tahmin yapmak için matrise ve aktif kullanıcının verisini kullan.

Kullanıcı bazlı işbirlikçi filtreleme

• Her kullanıcıyı diğer her kullanıcıyla karşılaştırılıyor.
• Veri seti büyüdükçe her kullanıcıyı diğer her kullanıcıyla karşılaştırmak yavaşlıyor
• Ürün sayısı  çok olan bir sitede  kullanıcılarının zevklerinin örtüşmesi az olabilir. Bu da hangi kullanıcıların birbiriyle benzer olduğunu bulmayı zorlaştırır.

Öğe bazlı işbirlikçi filtreleme

• Kullanıcı tabanlıya göre daha hızlı sonuçlar verebilmekte. Ön hesaplama yapılması gerekiyor.
• Yoğun olmayan verisetlerinde daha iyi sonuçlar vermektedir.  Yoğun verisetlerinde uygulandığında kullanıcı bazlı işbirlikçi filtrelemeye benzer sonuçlar vermektedir.

Uygulamaları

Amazon , Digg , Ebay , Google News , Hulu ,  imdb ,  iTunes , Last.fm , Netflix , StumbleUpon

Örnek Uygulama

Tür : Kullanıcı bazlı
Algoritma : Öklid uzaklığı
Veri :  943 kullanıcı’nın 1682 film için verdiği 100.000 oy
Amaç : Kullanıcıların beğenilerinin örtüşme oranının bulunması (0 – 1 aralığında )

Uygulama – Uygulamanın kaynak kodu

Kaynak : http://en.wikipedia.org/wiki/Collaborative_filtering

Normal dağılımı ispatlarken çizilmiş olması pek muhtemel

Bir de söyleneni var o daha bir güzel
(YeniHarman)

John Tukey tarafından 1977 yılında bulunan kutu bıyık grafikleri açıklayıcı
istatistikte sayısal veri setlerini beş sayı özetlerine(en küçük gözlem , birinci dörtlük (kartil) , medyan ,
üçüncü dörtlük ve en büyük gözlem değerlerine ) dayanarak resmeden uygun betimleme yoludur.

Kutu bıyık grafikleri altında yatan istatistiksel dağılımlar hakkında varsayımda bulunmadan farklı popülasyon türlerini gösterebilir.
Kutu bıyık grafikleri veri setimizin yayılımı , konumu , çarpıklığı , kuyruk uzunlukları , aykırı gözlem değerleri hakkında bilgi verir.

Yukarıdaki grafiği yorumluyacak olursak ;

X1 için:

• Daha homojen yayılmış
• Çarpıklığı simetriğe yakın
• Kuyruk uzunlukları yakın
• Aykırı gözlem yok

X2 için:

• Daha heterojen yayılmış
• Çarpıklığı sağa çarpık
• Kuyruk uzunlukları farklı
• Aykırı gözlem yok

Yukarıdaki grafiği php ile çizdirmek için :

$boxplot = new boxplot();

$data = array( 'X1' => array(35.8,37.4,39.1,40.7,46.8,47.9,48.6,49.2, 49.6,50.6,52.3,54.3,54.5,54.5,54.7,55.2, 56.4,58.6,58.9,61.8,62.5,66.3,66.8,67.2,71.5) ,


'X2' => array(43.55,45.65,47.25,49.25,51.80,52.15,52.45,53.05, 53.80,53.80,56.20,57.05,57.65,59.45,59.45,64.10, 65.20,55.50,68.05,59.75,69.80,77.65,82.35,85.60,86.85)
);

$boxplot->Draw('Değerler','Gruplar',$data);

Daha ilgi çekici örnek vermek gerekirse ;

1 – 15 ekim 2007 tarihleri arasında x sitesi için günlük ziyaretçi sayılarını gösteren serimiz aşağıdaki gibi olsun

2515,2416,2388,2420,2405,2191,2144,2319,2262,2294,2046,1435,1759,1995,2217

$boxplot = new boxplot();
$data = array('X'=>array(2515,2416,2388,2420,2405,2191,2144,2319,2262,2294,2046,1435,1759,1995,2217));
$boxplot->Draw('Ziyaretçiler','Seri',$data);


kodu ile

grafiğini elde ediyoruz.

• * aykırı değeri gösteriyor

1470′den daha aşağıda değerde bir aykırı değerimiz var ,veri setimize tekrar baktığımızda bu değerin 1435 değeri olduğunu
anlıyoruz. 1435 değeride 12 ekime denk geliyor.

Böyle bir durumda sunucuda veya sunucuya erişimde bir sorun olduğunu düşünmemiz normal.
Kayıtları inceleyip , gerekli testleri yaptıktan sonra ve son olarak takvime dikkatli bakınca görüyoruz ki ekim 12 Ramazan bayramının ilk günü.

Yani millet site değil akraba geziyor , heyacanlanmaya gerek yok

Php5 class ve örneklerin kodları

Kaynak :

Veri analizi ders notları
http://en.wikipedia.org/wiki/Box_plot
http://www.itl.nist.gov/div898/handbook/eda/section3/boxplot.htm
http://www.maths.murdoch.edu.au/units/statsnotes/samplestats/boxplot.html
http://www.ilk250.org.tr/document/2005/makaleler/03%20-%20SANAY%C4%B0%20NEREYE%20-%20Prof.Dr.%20Necmi%20G%C3%9CRSAKAL.pdf

Dün can sıkıntısınında etkisiyle bişiler yapim dedim aklımdada şöle istatistikle
lgili basit bir örnek yapıp bloğuma koymak vardı.. Ama gene duramadım gittim
AMD’nin geliştirici makalelerini okudum 3Dnow! teknolojisi örneklerini inceledim
ve Varyans , Standart sapma ve ortalamaları 3DNow! kullanarak hesaplattım
sonuç ilk 3DNow! denemem için hiçde fena değil

Peki nedir bu 3Dnow! ?

3DNow! AMD’nin kendi işlemcileri için geliştirdiği multimedya komut setidir ,
ilk defa 1998 yılında K6-2′ye eklenmiştir.
İşlemcinin grafik yoğunluklu uygulamalar için vektör işleme ihtiyaçlarını karşılamak için dizayn edilmiştir.

3DNow! Destekleyen işlemciler

K6-2 ve sonrası AMD işlemciler K6-III,Athlon,Duron,Atlon XP,Sempron,Athlon 64
Athlon 64 X2,Opteron,Turion 64, Turion 64 X2,Geode NX

Via C3 ve daha günceli

IDT Winchip 2 ve daha günceli

Msvc++ dosyalarını derleyebilmeniz için;

Visual Studio 6.0 Processor Pack yüklemelisiniz.
Processor Pack için ise Visual Studio 6.0 Service Pack 5.0‘ı kurmanız gerekiyor
Ben SP 6.0′ı yükleyim yer dedim yemedi mutlaka Service Pack 5.0 yüklemelisiniz.

İndirmek için tıklayın

Not: İstatistik yalan değildir , beşer şaşar