Neurális hálózatok értelmezhetősége és annak javítása
Kulcsszavak:
modell redukció, modell transzformáció, tudásfeltárásAbsztrakt
A nemlineáris fekete doboz modellezési technikák napjainkra különösen fontossá váltak nemcsak a tudományos kutatás, hanem az ipari alkalmazás területén is. Fekete doboz modellek lévén legnagyobb hátrányuk, hogy struktúrájuk, illetve paramétereik nem értelmezhetők. Ennek köszönhetően e modellek optimális struktúrájának meghatározása és validálása rendkívül nehéz. Szintén e fekete doboz jelleg miatt jelent nagy kihívást, hogy miként lehet a modellalkotás során előzetes információk felhasználásával javítani a modellezési teljesítményt. A fekete doboz modellek struktúrájának meghatározása tehát többlépcsős folyamat, mely általában egy komplex modell redukálásán alapul. A modell redukció a túlparaméterezés elkerülése miatt kiemelt fontosságú, továbbá használatával számítási idő nyerhető. Cikkünkben azt kívánjuk megmutatni, hogy redukciós technikák segítségével milyen módon lehetséges a fekete doboz modellek komplexitásának csökkentése. Az egyik lehetséges út az ortogonális technikák használata, melyek két további csoportba oszthatók: az ortogonális legkisebb négyzetek módszere (OLS), illetve a rangsoroló SVD-QR technikák. Az OLS sokkal számításigényesebb, de jó közelítést adó eredményei miatt preferált az identifikációs technikák használata során. A cikk egy, a neurális hálózatok értelmezhetővé tételére alkalmas eljárást mutat be, továbbá ismerteti az így kapott szabálybázis redukálását OLS segítségével. A bemutatásra kerülő eredmények a kidolgozott neurális hálózat részletes analízisére és redukciójára alkalmas technika széleskörű alkalmazhatóságát vetítik előre.
Hivatkozások
Abonyi, J., Feil, B. (2007). Aggregation and Visualization of Fuzzy Clusters based on Fuzzy Similarity Measures. Advances in Fuzzy Clustering and its Applications, John Wiley & Sons, 95–123. https://doi.org/10.1002/9780470061190.ch5
Abonyi, J. (2003). Fuzzy Models of Dynamical Systems. Fuzzy Model Idetiftcation for Control, Birkhauser, 60–61. https://doi.org/10.1007/978-1-4612-0027-7_3
Benitez, J. M., Castro, J. L., Requena, I. (1997). Are artifical neural networks black boxes? IEEE Transactions on Neural Networks, 8(5), 1156–1164. https://doi.org/10.1109/72.623216
de Castro, L. N., Iyoda, E. M., Zuben, F. J. V., Gudwin, R. (1998). Feedforward Neural Network Initialization: an Evolutionary Approach. Proceedings of the 5th Brazilian Symposium on Neural Networks, 43–49. https://doi.org/10.1109/SBRN.1998.730992
Cun, Y. L., Denker, J., Solla, S. (1990). Optimal brain damage. Advances in neural information processing systems, 2. 598–605.
Duch, W. (2003). Coloring black boxes: visualization of neural network decisions. Int. Joint Conf. on Neural Networks, Portland, Oregon, IEEE Press, 1. 1735–1740. https://doi.org/10.1109/IJCNN.2003.1223669
Duch, W. (2004). Visualization of Hidden Node Activity in Neural Networks: I. Visualization Methods. Lecture Notes in Artificial Intelligence, 3070. 38–43 https://doi.org/10.1007/978-3-540-24844-6_5
Duch, W. (2004). Visualization of hidden node activity in neural networks: II. Application to RBF networks. Lecture Notes in Artificial Intelligence, 3070. 44–49. https://doi.org/10.1007/978-3-540-24844-6_6
Harris, T. J., Yu, W. (2007). Controller assessment for a class of non-linear systems. Journal of Process Control, in press. https://doi.org/10.1016/j.jprocont.2007.01.011
Hassibi, B., Stork, D., Wolff, G. (1992). Optimal brain surgeon and general network pruning. Technical Report 9235, RICOH California Research Center, Menlo Park, CA.
Henrique, H. M., Lima, E. L., Seborg, D. E. (2000). Model structure determination in neural network models. Chemical Engineering Science, 55. 5457–5469. https://doi.org/10.1016/S0009-2509(00)00170-6
Huang, D. S., Zhao, W. B. (2005). Determining the centers of radial basis probabilistic neural networks by recursive orthogonal least square algorithms, Applied Mathematics and Computation, 162. 461–473. https://doi.org/10.1016/j.amc.2003.12.105
Markowska-Kaczmar, U., Chumieja, M. (2003). Opening neural network black box by evolutionary approach. Design and application of hybrid intelligent systems, 147–156.
Mastorocostas, P. A., Theocharis, J. B., Petridis, V. S. (2001). A constrained orthogonal least-squares method for generating TSK fuzzy models: Application to short-term load forecasting. Fuzzy Sets and Systems, 118. 215–233. https://doi.org/10.1016/S0165-0114(98)00344-3
Mastorocostas, P. A., Theocharis, J. B. (2003). An orthogonal least-squares method for recurrent fuzzy-neural modeling. Fuzzy Sets and Systems, 140. 285–300. https://doi.org/10.1016/S0165-0114(02)00523-7
Nelles, O. (2001) Nonlinear system identification. Springer-Verlag. https://doi.org/10.1007/978-3-662-04323-3
Setiono, R., Leow, W. K., Thong, J. Y. L. (2000). Opening the neural network black box: an algorithm for extracting rules from function approximating artificial neural networks. Proceedings of the 21st International Conference on Information systems, Queensland, Australia, 176–186.
Setnes, M. (2001). Complexity reduction in fuzzy systems. PhD Thesis, TU Delft.
Letöltések
Megjelent
Folyóirat szám
Rovat
License
Copyright (c) 2007 Kenesei Tamás, Feil Balázs, Abonyi János
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
