Байесовата мрежа е вероятностен модел, представен чрез насочен ацикличен граф (DAG). Възлите на графа представляват случайни променливи, а насочените ребра открояват пряка зависимост (условна зависимост) между променливите. Всяко ребро и всеки възел са свързани с условно-разпределение (напр. таблица с условни вероятности за дискретни променливи или параметризирано гaусово разпределение за непрекъснати), което описва как стойността на дадената променлива зависи от стойностите на нейните родители в графа. Мрежата кодира също така факторизация на съвместното вероятностно разпределение: за променливите X1,...,Xn важи P(X1,...,Xn) = Π_i P(Xi | Parents(Xi)), което улеснява изчисленията и инференцията при висока размерност.

Компоненти и семантика

  • Насочен ацикличен граф (DAG) — структурата определя кои променливи са условно независими една от друга.
  • Условни разпределения (CPD/CPT) — за всеки възел има функция, която задава вероятностите за различните му стойности, зависещи от родителите му.
  • Условна независимост — ключово понятие: ако няма път или е блокиран чрез наблюдения, две променливи могат да са условно независими, което намалява броя на необходимите параметри.
  • Каузална интерпретация — въпреки че графът описва условни зависимости, при допълнителни предположения (и с подходяща експериментална или структурна информация) една байесова мрежа може да се използва и за каузални изводи (напр. с do-оператора на Pearl).

Инференция — как се правят изводи

Целите на инференцията включват:

  • Изчисляване на условни вероятности (диагноза: P(болест | симптоми)).
  • Предсказване (прогнозиране на бъдещи събития).
  • Откриване на най-вероятна конфигурация (MAP).
  • Филтриране и изглаждане във времеви (динамични) модели.

Алгоритми за инференция:

  • Точни: енумерация/вериги (variable elimination), алгоритъм на джункционно дърво (junction tree).
  • Апроксимации: MCMC (напр. Gibbs sampling), belief propagation (включително loopy), вариационни методи.

Обучение на модели

  • Обучение на параметри — когато структурата е известна: максимално вероятностно оценяване (MLE), байесово оценяване (с априорни разпределения), EM алгоритъм при липсващи данни.
  • Обучение на структура — кога и как да свържем възлите: подходи включват score-based (напр. BIC, BDeu), constraint-based (напр. PC алгоритъм), и хибридни методи.
  • Динамични байесови мрежи (DBN) — разширение за моделиране на времеви процеси (напр. Hidden Markov Models и разширени динамични структури).

Приложения в машинното обучение

Байесовите мрежи намират широко приложение в машинното обучение и други области, където е важно да се моделира несигурност и зависимости между променливи. Примери:

  • Класификация — на изображения, текст или реч (напр. наивен Байес, структуриран класификатор).
  • Медицинска диагностика — връзка между заболявания и симптоми за подпомагане на решения.
  • Откриване на грешки и надеждност — моделиране на системни откази и причинно-следствени вериги.
  • Обработка на естествен език и извличане на информация — връзки между лингвистични характеристики и семантика, включително извличането на информация.
  • Компютърно зрение и роботика — комбиниране на сензорни данни с априорни модели и фузия на информация.
  • Рекомендационни системи и кредитен риск — моделиране на зависимости и несигурност при вземане на решения.

Предимства и ограничения

  • Предимства: интуитивна графична интерпретация, явна работа с несигурност, възможност за комбиниране на данни и експертни знания, ефективна факторизация на съвместни разпределения.
  • Ограничения: при голям брой променливи точната инференция може да стане изчислително тежка; изборът и научаването на правилна структура не винаги е тривиален; за непрекъснати и смесени променливи понякога са нужни допълнителни допускания (напр. гaусови модели).

Пример (опростен)

Нека имаме променлива D (болест) и два симптома S1 и S2, които зависят от D. Тогава байесовата мрежа може да бъде с ребра D → S1 и D → S2 и факторизация: P(D, S1, S2) = P(D) · P(S1 | D) · P(S2 | D). Ако наблюдаваме S1 и S2, можем да изчислим P(D | S1, S2) чрез теоремата на Бейс:

P(D | S1, S2) = P(S1, S2 | D) P(D) / P(S1, S2), където P(S1, S2 | D) = P(S1 | D) P(S2 | D).

Историческа бележка

Байесовите мрежи се основават на идеите зад теорема на Бейс, формулирана от Томас Бейс (XVIII век) и впоследствие развитa в контекста на вероятностно-статистическите модели. Те комбинират класическата байесова теория с графи, за да позволят ефективно моделиране и изводи в сложни системи.

Инструменти и библиотеки

Има множество софтуерни библиотеки и инструменти за работа с байесови мрежи, например R пакети (bnlearn), Python библиотеки (pgmpy, pomegranate), MATLAB Bayes Net Toolbox, както и графични инструменти като GeNIe/SMILE.

Байесовите мрежи продължават да бъдат ценен инструмент за моделиране на несигурност, особено когато е важно да се комбинират данни, експертни знания и причинно-следствени предположения.