Ruby On Rails in UA/Code Review, теоретические вопросы/Регулярные выражения/Класификация текста по Байесовским алгоритмам

Применимость Байесовского классификатора для задачи определения спама

Наивный Байесовский классификатор

Байесовский классификатор основан на использовании знаменитой теоремы Байеса, и первые упоминания о нем можно встретить еще в 1960-м году. За уже более чем 40-летнюю историю НБК использовался для решения самых разнообразных задач: от классификации текстов в новостных агентствах до первичной диагностики заболеваний в медицинских учреждениях.

При постановке задачи для НБК в качестве характеристик обычно выбирается наличие или отсутствие каких либо слов в документе, то есть за множество характеристик T принимается множество всех слов в обрабатываемых документах. Таким образом, вес характеристики wi=1 в том случае, если слово ti было найдено, и wi=0 в обратном случае. В случае с фильтрами, которые используются для классификации спама, учитывается еще и область, в которой встретилось слово: заголовки, тема письма (subject), тело письма. То есть слово 'спам', встретившееся в теме письма, есть иной термин, чем слово 'спам' в теле письма.


require 'rubygems' require 'classifier' classifier = Classifier::Bayes.new('Spam', 'Not spam') classifier.train_spam 'are you in the market for viagra? we sell viagra' classifier.train_not_spam 'hi there, are we still on for lunch?' #--- classifier.classify "we sell the cheapest viagra on the market" # => "Spam" classifier.classify "lunch sounds great" # => "Not spam" #--- classifier # => #<Classifier::Bayes:0xb7cec7c8 # @categories={:"Not spam"=> # { :lunch=>1, :for=>1, :there=>1, # :"?"=>1, :still=>1, :","=>1 }, # :Spam=> # { :market=>1, :for=>1, :viagra=>2, :"?"=>1, :sell=>1 } # }, # @total_words=12> #--- classifier = Classifier::Bayes.new('Interesting', 'Funny', 'Dramatic') classifier.train 'Interesting', "Leaving reminds us of what we can part with and what we can't, then offers us something new to look forward to, to dream about." classifier.train 'Funny', "Knock knock. Who's there? Boo boo. Boo boo who? Don't cry, it is only a joke." classifier.train 'Dramatic', 'I love you! I hate you! Get out right now.' classifier.classify 'what!' # => "Dramatic" classifier.classify "who's on first?" # => "Funny" classifier.classify 'perchance to dream' # => "Interesting" #--- classifier.untrain_funny "boo" classifier.untrain "Dramatic", "out" #---