Random Forest

Random Forest

Ein Random Forest ist ein Klassifikationsverfahren, welches aus mehreren verschiedenen, unkorrelierten Entscheidungsbäumen besteht. Alle Entscheidungsbäume sind unter einer bestimmten Art von Randomisierung während des Lernprozesses gewachsen. Für eine Klassifikation darf jeder Baum in diesem Wald eine Entscheidung treffen und die Klasse mit den meisten Stimmen entscheidet die endgültige Klassifikation. Neben einer Klassifikation kann der Random Forest auch zur Regression eingesetzt werden.

Der Begriff Random Forest wurde von Leo Breiman im Jahr 2001 [1] geprägt, welcher verschiedene Methoden der Randomisierung der Bäume, beispielsweise mittels Bagging oder Boosting erforschte. Seiner Arbeit ging die Forschung von Tin Kam Ho [2] im Jahr 1995 voraus.

Inhaltsverzeichnis

Eigenschaften

Ein Random Forest kann mit vielen Vorteilen gegenüber anderen Klassifikationsmethoden wie der SVM punkten.

  • Der Klassifikator trainiert sehr schnell. Dieser Vorteil ergibt sich durch die kurze Trainings- bzw. Aufbauzeit eines einzelnen Entscheidungsbaumes. Die Trainingszeit bei einem Random Forest steigt linear mit der Anzahl der Bäume.
  • Die Evaluierung eines Testbeispieles geschieht auf jedem Baum einzeln und ist daher parallelisierbar. Er evaluiert also schnell.
  • Er ist sehr effizient auf große Datenmengen (Anzahl der Klassen, Beispiele sowie Merkmale) anzuwenden.
  • Starke (wichtige) Klassen können erkannt werden.
  • Der Zusammenhang von Klassen kann mittels Random Forests erkannt werden.

Funktionsweise

Es gibt viele verschiedene Varianten und Ansätze einen Random Forest zu trainieren und klassifizieren zu lassen. Dazu zählt unter anderem, welche Entscheidungsbäume verwendet werden und ob eine maximale Tiefe der Bäume vorgegeben wird. Nach Breiman [1] soll für jeden Entscheidungsbaum im Wald folgender Algorithmus angewandt werden:

  1. Bei N Beobachtungen in der Trainingsmenge, werden n Objekte zufällig mit Zurücklegen gezogen.
  2. Bei M Merkmalen (Features oder Dimensionen) der Beispiele werden an jedem Knoten im Baum m < < M Merkmale zufällig gewählt, die zur Betrachtung des Schnitts (Split) genommen werden. Dies kann zum Beispiel mittels der Minimierung der Entropie geschehen.
  3. Der Baum wird voll ausgebaut und nicht zurückgeschnitten (Pruning).

Zur Klassifikation wird nun ein Beispiel in jedem Baum ausgewertet. Jene Klasse, welche am häufigsten gewählt wurde ist die Klassifikation des Random Forest.

Anna Bosch [3] hat in ihrer Arbeit zusätzlich jedem Blatt die a posteriori Wahrscheinlichkeiten der Klassen gespeichert, mit der sie zu diesem Blatt finden. Diese Wahrscheinlichkeiten werden anschließend für die Wahl der Klassifikation berücksichtigt. Dadurch konnte sie im Weiteren die Fehlerrate in ihrer Anwendung verringern.

Software

Weblinks

Quellen

  1. a b Breiman L., Random forests. In Machine Learning, Seiten 5-32, 2001
  2. Tin Kam Ho, Random Decision Forests, Proceedings of the 3rd International Conference on Document Analysis and Recognition, Montreal, Canada, August 14-18, 1995, 278-282
  3. Bosch, A., Zisserman, A., and Muoz, X. Image classification using random forests and ferns. ICCV 2007. IEEE 11th International Conference on Computer Vision, Seiten 1–8.

Wikimedia Foundation.

Игры ⚽ Поможем сделать НИР

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Random forest — (англ. случайный лес)  алгоритм машинного обучения, предложенный Лео Брейманом[1][2] и Адель Катлер, заключающийся в использовании комитета (ансамбля) решающих деревьев. Алгоритм сочетает в себе две основные идеи: метод бэггинга… …   Википедия

  • Random forest — In machine learning, a random forest is a classifier that consists of many decision trees and outputs the class that is the mode of the classes output by individual trees. The algorithm for inducing a random forest was developed by Leo Breiman… …   Wikipedia

  • Random Forest — …   Википедия

  • Random naive Bayes — extends the Naive Bayes classifier by adopting the random forest principles: random input selection (bagging, i.e. bootstrap aggregating) and random feature selection ( [Breiman, 2001] ). Naive Bayes classifier Naive Bayes is a probabilistic… …   Wikipedia

  • Random multinomial logit — In statistics and machine learning, random multinomial logit (RMNL) is a technique for (multi class) statistical classification using repeated multinomial logit analyses via Leo Breiman s random forests. Rationale for the new methodSeveral… …   Wikipedia

  • Forest inventory — is the systematic collection of data and forest information for assessment or analysis. It is also commonly known as timber cruising. It is important for owners to cruise the timber to get an estimate of the value and possible uses of the timber …   Wikipedia

  • Random encounter — A random encounter is a feature commonly used in hack and slash role playing games and computer and video games whereby encounters with non player character (NPC) enemies or other dangers occur sporadically and at random. In general, random… …   Wikipedia

  • Forest City Stockade — The Forest City Stockade was built to defend the area settlers from Indian attacks. It became famous during the Dakota War of 1862. The following account is taken from Terry Tales 2, a book by Terry R. Shaw: It had been Jesse Branham, Sr.’s son… …   Wikipedia

  • Allegheny National Forest — Infobox protected area | name = Allegheny National Forest iucn category = VI caption = locator x = 230 locator y = 64 location = Warren, McKean, Forest, and Elk counties, Pennsylvania, USA nearest city = Warren, PA lat degrees = 41 lat minutes =… …   Wikipedia

  • Lake Forest College — Infobox University name = Lake Forest College native name = latin name = motto = Natura et Scientia Amore established = 1857 type = Liberal Arts School endowment = $76,700,000 staff = faculty = 117 president = Stephen D. Schutt provost = Janet… …   Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”