20世紀(jì)90年代以來,盡管人工智能學(xué)科的研究遇到的嚴(yán)重的困難,但還是出現(xiàn)了一系列至今對計(jì)算科學(xué)有重要影響的研究結(jié)果,其中最為重要的是,1991年,Minsky出版了他的著作,《Society of Mind(思維的社會)》,這本著作關(guān)于“智慧由一些小的無智慧的獨(dú)立功能單元組合后產(chǎn)生”的建議,以及創(chuàng)造的新術(shù)語“Agent”,已引起理論與應(yīng)用研究者的關(guān)注。Agent已成為計(jì)算機(jī)科學(xué)很多領(lǐng)域廣泛使用的概念,據(jù)此還發(fā)展成為知識表示的方法論———本體論(Ontology)。
進(jìn)入20世紀(jì)90年代,統(tǒng)計(jì)機(jī)器學(xué)習(xí)逐步開始引領(lǐng)人工智能研究的主流。這時(shí),對人工智能十分重要的表示與推理的研究,由于基于優(yōu)化的學(xué)習(xí)算法大多數(shù)采用給定基函數(shù)。因此,其表示變得單一,且由此導(dǎo)致推理成為計(jì)算模型函數(shù)的簡單問題,表示與推理在統(tǒng)計(jì)機(jī)器學(xué)習(xí)中失去了研究價(jià)值。
統(tǒng)計(jì)機(jī)器學(xué)習(xí)在以后的20年間,并沒有沿著BP的非線性算法的路線發(fā)展。反之,回歸線性感知機(jī)是其特點(diǎn),在Valiant的概率近似正確(Probability Approximation correct,PAC)學(xué)習(xí)理論意義下Vapnik提出了支持向量機(jī)(Support Vector Machine,SVM)。盡管統(tǒng)計(jì)方法在這個(gè)時(shí)期占據(jù)了主流地位,但是,人工智能的研究者并沒有忘記“智能”的含義,因此,在這個(gè)時(shí)期,發(fā)展了大量不同的學(xué)習(xí)方式。這些方式大多來自對人類學(xué)習(xí)的研究,例如,流形學(xué)習(xí)、主動(dòng)學(xué)習(xí)、集成學(xué)習(xí)、多示例學(xué)習(xí)等。 這個(gè)時(shí)期,這類研究分為兩個(gè)不同的研究路線:一是以PAC為基礎(chǔ),強(qiáng)調(diào)學(xué)習(xí)過程可以基于有限樣本,并使得對誤差的分析以1-δ概率成立,這個(gè)路線的最重要的貢獻(xiàn)是強(qiáng)調(diào)建立模型的算法應(yīng)該在線性空間設(shè)計(jì)。即,強(qiáng)調(diào)返回線性感知機(jī),這是對BP算法設(shè)計(jì)的反叛。由此,導(dǎo)致至今還是重要的研究課題———核函數(shù)。 另一個(gè)有趣的路線是遵循傳統(tǒng)統(tǒng)計(jì)學(xué)理念。根據(jù)熱力學(xué)的“系綜(Enseble)”、神經(jīng)科學(xué)的“集群(Enseble)”,以及統(tǒng)計(jì)學(xué)的重采樣(Resampling)等原理發(fā)展了現(xiàn)在稱為“集成學(xué)習(xí)(Enseble Learning)”的方法,其本質(zhì)是,對實(shí)際問題隨機(jī)采樣并建立模型。采樣次數(shù)進(jìn)行多次,由此獲得多個(gè)模型。然后,在這些模型張成的空間上建立實(shí)際問題的模型。在統(tǒng)計(jì)學(xué)上證明,如果采樣次數(shù)趨于無窮,由此建立的模型的均方差與一次采樣建立的模型的均方差相等。這就是已被廣泛應(yīng)用于各個(gè)不同領(lǐng)域的Bootstrap原理。與此同時(shí),1991年人們證明了弱可學(xué)習(xí)定理,由此發(fā)展了算法Boosting,它與上述隨機(jī)采樣的區(qū)別:一是對給定樣本集合的采樣,二是下一次采樣盡量包含上一次采樣建立的模型不能準(zhǔn)確描述的樣本。因此,Boosting需要建立在PAC基礎(chǔ)上。 此期間最廣為人們所喜愛的研究結(jié)果是“最大間距(Margin)”算法,其誤差界依賴樣本集合兩個(gè)閉凸集之間的距離(Margin)。即,距離越大,泛化性能越好。由于這個(gè)原理的幾何解釋十分清晰,由此設(shè)計(jì)的算法簡單易懂。因此,被很多研究者所喜歡。
人工智能研究已經(jīng)有50多年的歷史,發(fā)展是曲折的。從制造具有智能的機(jī)器夢想來看,相距甚遠(yuǎn)。從計(jì)算機(jī)應(yīng)用的角度來看,其成果甚豐。不夸張地說,它已經(jīng)成為計(jì)算機(jī)應(yīng)用發(fā)展的原始動(dòng)力之一,甚至更長。