Philosophie Lexikon der ArgumenteHome
| |||
|
| |||
| Bayes'sche Netze: Ein Bayes'sches Netz ist ein probabilistisches grafisches Modell, das zur Darstellung und Analyse der probabilistischen Beziehungen zwischen einer Reihe von Variablen verwendet wird. Es besteht aus Knoten, die Variablen darstellen, und gerichteten Kanten, die probabilistische Abhängigkeiten zwischen ihnen bezeichnen. Dies erleichtert die Argumentation unter Unsicherheit in verschiedenen Anwendungen._____________Anmerkung: Die obigen Begriffscharakterisierungen verstehen sich weder als Definitionen noch als erschöpfende Problemdarstellungen. Sie sollen lediglich den Zugang zu den unten angefügten Quellen erleichtern. - Lexikon der Argumente. | |||
| Autor | Begriff | Zusammenfassung/Zitate | Quellen |
|---|---|---|---|
|
Peter Norvig über Bayessches Netz – Lexikon der Argumente
Norvig I 510 Bayessches Netz/Belief Networks/Probabilistic networks/knowledge map/KI-Forschung/Norvig/Russell: Bayessche Netze können im Wesentlichen jede vollständige gemeinsame Wahrscheinlichkeitsverteilung darstellen und können dies in vielen Fällen sehr präzise tun. Norvig I 511 Ein Bayessches Netz ist ein gerichteter Graph, in dem jeder Knoten mit quantitativen Informationen über die Wahrscheinlichkeit versehen ist. Die vollständige Spezifikation ist wie folgt: 1. Jeder Knoten entspricht einer zufälligen Variable, die diskret oder kontinuierlich sein kann. 2. Ein Satz von gerichteten Links oder Pfeilen verbindet Knotenpaare. Wenn es einen Pfeil von Knoten X zu Knoten Y gibt, gilt X als übergeordnetes Element von Y. Das Diagramm hat keine gerichteten Zyklen (und ist daher ein gerichteter azyklischer Graph (directed acyclic graph) oder DAG. 3. Jeder Knoten Xi hat eine bedingte Wahrscheinlichkeitsverteilung P(Xi |Parents(Xi)), die die Wirkung der Eltern auf den Knoten quantifiziert. Die Topologie des Netzes - der Satz von Knoten und Verbindungen - spezifiziert die bedingten Unabhängigkeitsbeziehungen, die in der Domäne bestehen (...). >Wahrscheinlichkeitstheorie/Norvig, >Unsicherheit/KI-Forschung. Die intuitive Bedeutung eines Pfeils ist typischerweise, dass X einen direkten Einfluss auf Y hat, was darauf hindeutet, dass Ursachen übergeordnete Effekten aller Effekte sein sollten. Sobald die Topologie des Bayesschen Netzes festgelegt ist, müssen wir nur noch eine bedingte Wahrscheinlichkeitsverteilung für jede Variable, gegeben ihrer übergeordneten Variablen, angeben. Norvig I 512 Umstände: Die Wahrscheinlichkeiten fassen tatsächlich eine potenziell Norvig I 513 unendliche Anzahl von Umständen zusammen. Norvig I 515 Inkonsistenz: Wenn es keine Redundanz gibt, dann gibt es auch keine Chance auf Inkonsistenz: Es ist unmöglich für den Wissensingenieur oder Domänenexperte ein Bayessches Netz zu schaffen, das die Axiome der Wahrscheinlichkeit verletzt. Norvig I 517 Diagnostische Modelle: Wenn wir versuchen, ein Diagnosemodell mit Verbindungen von Symptomen zu Ursachen aufzubauen (...), müssen wir letztlich zusätzliche Abhängigkeiten zwischen ansonsten unabhängigen Ursachen (und oft auch zwischen getrennt auftretenden Symptomen) angeben. Kausalmodelle: Wenn wir uns an ein Kausalmodell halten, müssen wir am Ende weniger Zahlen angeben, und die Zahlen werden oft einfacher zu finden sein. Im Bereich der Medizin beispielsweise haben Tversky und Kahneman (1982)(1) gezeigt, dass Fachärzte es vorziehen, Wahrscheinlichkeitsurteile eher für kausale als für diagnostische Regeln abzugeben. Norvig I 529 Inferenz: Da sie als Sonderfall die Inferenz in der Aussagenlogik beinhaltet, ist die Inferenz in Bayesschen Netze NP-hard. >NP-Vollständigkeit/Norvig. Es besteht ein enger Zusammenhang zwischen der Komplexität der Inferenz Bayesscher Netze und der Komplexität der Constraint-Satisfaction-Probleme (CSPs). >Constraint-Satisfaction-Probleme/Norvig. Clustering-Algorithmen: Mit Hilfe von Clustering-Algorithmen (auch Join-Tree-Algorithmen genannt) kann die Zeit auf O(n) reduziert werden. Aus diesem Grund sind diese Algorithmen in kommerziellen Bayesschen Netztools weit verbreitet. Die Grundidee des Clusterings besteht darin, einzelne Knoten des Netzes zu Clusterknoten zusammenzufügen, so dass das resultierende Netz ein Polytree ist. Norvig I 539 (...) Bayessche Netze sind im Wesentlichen propositional: Das Set von Zufallsvariablen ist fest und endlich, und jedes hat eine feste Domäne von möglichen Werten. Diese Tatsache schränkt die Anwendbarkeit der Bayesschen Netze ein. Wenn wir einen Weg finden, die Wahrscheinlichkeitstheorie mit der Ausdruckskraft von Repräsentationen erster Ordnung zu kombinieren, erwarten wir, dass wir in der Lage sein werden, die Bandbreite der zu bewältigenden Probleme drastisch zu erhöhen. Norvig I 540 Mögliche Welten/Wahrscheinlichkeiten: Für Bayessche Netze sind die möglichen Welten Zuweisungen von Werten zu Variablen; insbesondere für den Boolean case sind die möglichen Welten identisch mit denen der Aussagenlogik. Für ein Wahrscheinlichkeitsmodell erster Ordnung scheint es also, dass wir die möglichen Welten brauchen, die denen der Logik erster Ordnung entsprechen, d.h. eine Reihe von Objekten mit Beziehungen untereinander und eine Interpretation, die konstante Symbole auf Objekte, Prädikatsymbole auf Beziehungen und Funktionssymbole auf Funktionen auf diesen Objekten abbildet. Problem: Das Set der Modelle erster Ordnung ist unendlich. Lösung: Die Datenbanksemantik macht die Annahme einzigartiger Namen - hier übernehmen wir sie für die konstanten Symbole. Es geht auch davon aus, dass die Domäne geschlossen wird - es gibt nicht mehr Objekte als die benannten. Wir können dann eine endliche Menge möglicher Welten garantieren, indem wir das Set der Objekte in jeder Welt genau an das Set der konstanten Norvig I 541 Symbole, die verwendet werden, angleichen. Es gibt keine Unsicherheit über die Zuordnung von Symbolen zu Objekten oder über die vorhandenen Objekte. Relationale Wahrscheinlichkeitsmodelle: Wir nennen Modelle, die auf diese Weise definiert sind, relationale Wahrscheinlichkeitsmodelle (relational probability models oder RPMs. Der Name relationales Wahrscheinlichkeitsmodell wurde von Pfeffer (2000)(2) ursprünglich einer etwas anderen Repräsentation gegeben, aber die zugrunde liegenden Ideen sind die gleichen. >Unsicherheit/KI-Forschung. Norvig I 552 Judea Pearl entwickelte die Methode des Nachrichtenaustauschs (message passing method) zur Durchführung von Inferenz in Netzwerkbäumen (Pearl, 1982a)(3) und Netzwerk-Polytrees (Kim und Pearl, 1983)(4) und erklärte die Bedeutung von kausalen statt diagnostischen Wahrscheinlichkeitsmodellen im Gegensatz zu den damals beliebten certainty-factor systems. Das erste Expertensystem, das Bayessche Netze nutzte, war CONVINCE (Kim, 1983)(5). Erste Anwendungen in der Medizin waren das MUNIN-System zur Diagnose neuromuskulärer Erkrankungen (Andersen et al., 1989)(6) und das PATHFINDER-System für die Pathologie (Heckerman, 1991)(7). Norvig I 553 Die vielleicht am weitesten verbreiteten Bayesschen Netzsysteme waren die Diagnose- und Reparaturmodule (z.B. der PrinterWizard) in Microsoft Windows (Breese und Heckerman, 1996)(8) und der Office Assistant in Microsoft Office (Horvitz et al., 1998)(9). Ein weiteres wichtiges Anwendungsgebiet ist die Biologie: Bayessche Netze wurden zur Identifizierung menschlicher Gene unter Bezugnahme auf Mausgene (Zhang et al., 2003)(10), zur Ableitung zellulärer Netze (Friedman, 2004)(11) und vielen anderen Aufgaben in der Bioinformatik verwendet. Wir könnten die Liste fortführen, aber stattdessen verweisen wir Sie auf Pourret et al. (2008)(12), einen 400-seitigen Leitfaden für Anwendungen Bayesscher Netze. Ross Shachter (1986)(13), der in der Einflussdiagramm-Community arbeitete, entwickelte den ersten vollständigen Algorithmus für allgemeine Bayessche Netze. Seine Methode basierte auf einer zielgerichteten Reduktion des Netzes durch posterior-konservierende Transformationen. Pearl (1986)(14) entwickelte einen Clustering-Algorithmus zur genauen Inferenz in allgemeinen Bayesschen Netzen unter Verwendung einer Umwandlung in einen gerichteten Polytree von Clustern, in dem die Nachrichtenaustausch (message passing) verwendet wurde, um Konsistenz über Variablen zu erreichen, die zwischen Clustern geteilt wurden. Ein ähnlicher Ansatz, der von den Statistikern David Spiegelhalter und Steffen Lauritzen (Lauritzen und Spiegelhalter, 1988)(15) entwickelt wurde, basiert auf der Umwandlung in eine ungerichtete Form des grafischen Modells, ein Markov-Netzwerk. Dieser Ansatz wird im HUGIN-System umgesetzt, einem effizienten und weit verbreiteten Werkzeug für unsicheres Schlussfolgern (uncertain reasoning) (Andersen et al., 1989)(6). Boutilier et al. (1996)(16) zeigen, wie man die kontextspezifische Unabhängigkeit in Clustering-Algorithmen nutzt. Norvig I 604 Dynamische Bayessche Netze (DBNs): können als eine spartanische Kodierung eines Markov-Prozesses angesehen werden und wurden zuerst in der KI von Dean und Kanazawa (1989b)(17), Nicholson und Brady (1992)(18) und Kjaerulff (1992)(19) verwendet. Die letzte Arbeit erweitert das HUGIN-Bayes-Netz-System, um dynamische Bayessche Netze aufzunehmen. Das Buch von Dean und Wellman (1991)(20) half, DBNs und den probabilistischen Ansatz zur Planung und Kontrolle innerhalb der KI zu popularisieren. Murphy (2002)(21) bietet eine gründliche Analyse von DBNs. Dynamische Bayessche Netzwerke sind für die Modellierung einer Vielzahl komplexer Bewegungsprozesse in der Computervision populär geworden (Huang et al., 1994(22); Intille und Bobick, 1999)(23). Wie die HMMs haben sie Anwendungen in der Spracherkennung (Zweig und Russell, 1998(24); Richardson et al., 2000(25); Stephenson et al., 2000(26); Nefian et al., 2002(27); Livescu et al., 2003(28)), Norvig I 605 Genomik (Murphy und Mian, 1999(29); Perrin et al., 2003(30); Husmeier, 2003(31)) und Roboterlokalisierung (Theocharous et al., 2004)(32) gefunden. Die Verbindung zwischen HMMs und DBNs sowie zwischen dem Vorwärts-Rückwärts-Algorithmus und der Bayesschen Netzwerkpropagierung wurde von Smyth et al. (1997)(33) explizit hergestellt. Eine weitere Vereinheitlichung mit Kalman-Filtern (und anderen statistischen Modellen) findet sich in Roweis und Ghahramani (1999)(34). Es existieren Verfahren zum Lernen der Parameter (Binder et al., 1997a(35); Ghahramani, 1998(36)) und der Strukturen (Friedman et al., 1998)(37) von DBNs. 1. Tversky, A. and Kahneman, D. (1982). Causal schemata in judgements under uncertainty. In Kahneman, D., Slovic, P., and Tversky, A. (Eds.), Judgement Under Uncertainty: Heuristics and Biases. Cambridge University Press. 2. Pfeffer, A. (2000). Probabilistic Reasoning for Complex Systems. Ph.D. thesis, Stanford University 3. Pearl, J. (1982a). Reverend Bayes on inference engines: A distributed hierarchical approach. In AAAI- 82, pp. 133–136 4. Kim, J. H. and Pearl, J. (1983). A computational model for combined causal and diagnostic reasoning in inference systems. In IJCAI-83, pp. 190–193. 5. Kim, J. H. (1983). CONVINCE: A Conversational Inference Consolidation Engine. Ph.D. thesis, Department of Computer Science, University of California at Los Angeles. 6. Andersen, S. K., Olesen, K. G., Jensen, F. V., and Jensen, F. (1989). HUGIN—A shell for building Bayesian belief universes for expert systems. In IJCAI-89, Vol. 2, pp. 1080–1085. 7. Heckerman, D. (1991). Probabilistic Similarity Networks. MIT Press. 8. Breese, J. S. and Heckerman, D. (1996). Decisiontheoretic troubleshooting: A framework for repair and experiment. In UAI-96, pp. 124–132. 9. Horvitz, E. J., Breese, J. S., Heckerman, D., and Hovel, D. (1998). The Lumiere project: Bayesian user modeling for inferring the goals and needs of software users. In UAI-98, pp. 256–265. 10. Zhang, L., Pavlovic, V., Cantor, C. R., and Kasif, S. (2003). Human-mouse gene identification by comparative evidence integration and evolutionary analysis. Genome Research, pp. 1–13. 11. Friedman, N. (2004). Inferring cellular networks using probabilistic graphical models. Science, 303(5659), 799–805. 12. Pourret, O., Naım, P., and Marcot, B. (2008). Bayesian Networks: A practical guide to applications. Wiley. 13. Shachter, R. D. (1986). Evaluating influence diagrams. Operations Research, 34, 871–882. 14. Pearl, J. (1986). Fusion, propagation, and structuring in belief networks. AIJ, 29, 241–288. 15. Lauritzen, S. and Spiegelhalter, D. J. (1988). Local computations with probabilities on graphical structures and their application to expert systems. J. Royal Statistical Society, B 50(2), 157–224. 16. Boutilier, C., Friedman, N., Goldszmidt, M., and Koller, D. (1996). Context-specific independence in Bayesian networks. In UAI-96, pp. 115–123. 17. Dean, T. and Kanazawa, K. (1989b). A model for reasoning about persistence and causation. Computational Intelligence, 5(3), 142–150. 18. Nicholson, A. and Brady, J. M. (1992). The data association problem when monitoring robot vehicles using dynamic belief networks. In ECAI-92, pp. 689–693. 19. Kjaerulff, U. (1992). A computational scheme for reasoning in dynamic probabilistic networks. In UAI-92, pp. 121–129. 20. Dean, T. and Wellman, M. P. (1991). Planning and Control. Morgan Kaufmann. 21. Murphy, K. (2002). Dynamic Bayesian Networks: Representation, Inference and Learning. Ph.D. thesis, UC Berkeley 22. Huang, T., Koller, D., Malik, J., Ogasawara, G., Rao, B., Russell, S. J., and Weber, J. (1994). Automatic symbolic traffic scene analysis using belief networks. In AAAI-94, pp. 966–972 23. Intille, S. and Bobick, A. (1999). A framework for recognizing multi-agent action from visual evidence. In AAAI-99, pp. 518–525. 24. Zweig, G. and Russell, S. J. (1998). Speech recognition with dynamic Bayesian networks. In AAAI-98, pp. 173–180. 25. Richardson, M., Bilmes, J., and Diorio, C. (2000). Hidden-articulator Markov models: Performance improvements and robustness to noise. In ICASSP-00. 26. Stephenson, T., Bourlard, H., Bengio, S., and Morris, A. (2000). Automatic speech recognition using dynamic bayesian networks with both acoustic and articulatory features. In ICSLP-00, pp. 951-954. 27. Nefian, A., Liang, L., Pi, X., Liu, X., and Murphy, K. (2002). Dynamic bayesian networks for audiovisual speech recognition. EURASIP, Journal of Applied Signal Processing, 11, 1–15. 28. Livescu, K., Glass, J., and Bilmes, J. (2003). Hidden feature modeling for speech recognition using dynamic Bayesian networks. In EUROSPEECH-2003, pp. 2529–2532 29. Murphy, K. and Mian, I. S. (1999). Modelling gene expression data using Bayesian networks. people.cs.ubc.ca/˜murphyk/Papers/ismb99.pdf. 30. Perrin, B. E., Ralaivola, L., and Mazurie, A. (2003). Gene networks inference using dynamic Bayesian networks. Bioinformatics, 19, II 138-II 148. 31. Husmeier, D. (2003). Sensitivity and specificity of inferring genetic regulatory interactions from microarray experiments with dynamic bayesian networks. Bioinformatics, 19(17), 2271-2282. 32. Theocharous, G., Murphy, K., and Kaelbling, L. P. (2004). Representing hierarchical POMDPs as DBNs for multi-scale robot localization. In ICRA-04. 33. Smyth, P., Heckerman, D., and Jordan, M. I. (1997). Probabilistic independence networks for hidden Markov probability models. Neural Computation, 9(2), 227–269. 34. Roweis, S. T. and Ghahramani, Z. (1999). A unifying review of Linear GaussianModels. Neural Computation, 11(2), 305–345. 35. Binder, J., Koller, D., Russell, S. J., and Kanazawa, K. (1997a). Adaptive probabilistic networks with hidden variables. Machine Learning, 29, 213–244. 36. Ghahramani, Z. (1998). Learning dynamic bayesian networks. In Adaptive Processing of Sequences and Data Structures, pp. 168–197. 37. Friedman, N., Murphy, K., and Russell, S. J. (1998). Learning the structure of dynamic probabilistic networks. In UAI-98._____________ Zeichenerklärung: Römische Ziffern geben die Quelle an, arabische Ziffern die Seitenzahl. Die entsprechenden Titel sind rechts unter Metadaten angegeben. ((s)…): Kommentar des Einsenders. Übersetzungen: Lexikon der ArgumenteDer Hinweis [Begriff/Autor], [Autor1]Vs[Autor2] bzw. [Autor]Vs[Begriff] bzw. "Problem:"/"Lösung", "alt:"/"neu:" und "These:" ist eine Hinzufügung des Lexikons der Argumente. |
Norvig I Peter Norvig Stuart J. Russell Artificial Intelligence: A Modern Approach Upper Saddle River, NJ 2010 |
||
> Gegenargumente gegen Norvig
> Gegenargumente zu Bayessches Netz ...
