智慧財產及商業法院行政判決111年度行專訴字第54號民國112年7月13日辯論終結原 告 由田新技股份有限公司代 表 人 鄒嘉駿訴訟代理人 陳豫宛專利師輔 佐 人 何朝暐被 告 經濟部智慧財產局代 表 人 廖承威訴訟代理人 許人偉
參 加 人 陳冠伯上列當事人間因發明專利舉發事件,原告不服經濟部中華民國111年7月27日經訴字第11106305370號訴願決定,提起行政訴訟,並經本院命參加人獨立參加本件訴訟,本院判決如下:
主 文
一、原處分關於「請求項1至13舉發成立,應予撤銷」部分及訴願決定均撤銷。
二、訴訟費用由被告負擔。事實及理由
壹、程序方面:
一、本件被告代表人洪淑敏已於民國112年3月13日退休,由副局長廖承威代理後並於同年3月15日聲明承受訴訟,此有經濟部函文及聲明承受訴訟狀可稽(卷一第221至223、227至229頁),核無不合,應予准許。
二、本件參加人經合法通知,無正當理由未於言詞辯論期日到場,此有本院送達回證可稽(卷一第497頁),核無民事訴訟法第386條各款所列情形,爰依原告及被告之聲請,由其等辯論後為判決。
三、原告起訴聲明原為:㈠原處分及訴願決定關於「請求項1至13舉發成立」全部撤銷。㈡被告就公告第I653605號發明專利舉發事件(106145566N01),應作成「請求項1至13舉發不成立」之處分。嗣於本院準備程序變更為:原處分就「請求項1至13舉發成立」部分及訴願決定均撤銷,並撤回前揭聲明㈡部分,係為使聲明更明確,且經被告同意(卷一第195至196頁),核無不合,應予准許。
貳、實體方面:
一、事實概要:
(一)原告前於106年12月25日以「利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統」向被告申請發明專利,經被告編為第106145566號審查後准予專利(申請專利範圍共13項),並公告及發給發明第I653605號專利證書(下稱系爭專利)。
(二)參加人於108年9月23日以系爭專利違反核准時專利法第22條第1項第1款及第2項規定,提起舉發,原告於同年12月13日提出系爭專利申請專利範圍更正本。案經被告審查認原告之更正符合規定,爰依該更正本審查,並認系爭專利請求項1至13違反前揭專利法第22條第2項規定,以111年3月22日(111)智專三㈡04265字第11120281190號專利舉發審定書為「108年12月13日之更正事項,准予更正」、「請求項1至13舉發成立,應予撤銷」之處分(下稱原處分)。原告不服原處分關於舉發成立部分,提起訴願,經經濟部以111年7月27日經訴字第11106305370號訴願決定(下稱訴願決定)駁回後,復向本院提起訴訟。又本院認本件訴訟結果,倘認應撤銷訴願決定及原處分,參加人之權利或法律上利益將受損害,爰裁定命參加人獨立參加本件訴訟。
二、原告主張及聲明:
(一)原處分依職權審查而引入舉發人即參加人未提出之舉發理由,並未給予專利權人即原告答辯之機會,程序有重大瑕疵:
⒈原處分所持認定系爭專利請求項1不具進步性之理由(參處分
書第㈤、3、⑴、D),即引用證據3與請求項1之卷積神經網路架構相關特徵比對,與參加人引用證據2進行比對,證據3僅適用以彌補證據2未揭露之「成對影像」技術特徵有所不同外,且原處分認定證據2、3均屬神經網路相關技術領域,兩者皆進行神經網路訓練,具有結合動機,核與參加人舉發理由認為證據2、3皆屬於深度學習技術領域,證據3之成對影像係做為深度學習的輸入影像,可將證據3成對影像特徵與證據2之成對影像作等效置換之結合理由,其論述方式顯然不同,為被告依職權引入,並未給予原告答辯之機會。
⒉原處分所持認定請求項1不具進步性之理由(參處分書第㈤、3
、⑴、E),是將證據3作為主引證,以證據3的神經網路(Neu
ral net-work)為基礎,並引入證據2的深度神經網路架構特徵,惟舉發理由關於證據3之引用,僅止於成對影像內容,並未引用證據3之「神經網路」技術內容,亦即原處分理由從未見於舉發理由,亦未給予原告答辯之機會,程序上有重大瑕疵。更遑論原處分引用IBM公開於網路之資料,除未給予原告答辯機會外,該資料公開日為西元2020年8月17日晚於系爭專利申請日,應非適格之舉發證據。
⒊再者,證據2之深度卷積神經網路,實質上是建立在兩組指靜
脈紅外線影像的相似度映射,但證據3的訓練引擎建立在光罩的缺陷影像100及參考影像110映射至晶圓缺陷的物理過程,兩者顯然不能直接互換,證據2及3根本無法結合。
(二)證據2為深度學習領域,證據3是傳統機器學習領域,兩者並無結合動機:
⒈證據3申請日係西元2002年5月6日,與目前科學界公認深度學
習於學術上被公開之日期西元2012年12月3日,Geoffrey Everest Hinton和Alex Krizhevsky等人於Advances inNeural Information Processing Systems(NIPS)發表論文「Imagenet classification with deep convolutionalneural networks」)逾十年之久,可見其為傳統的機器學習方式,非屬於系爭專利的深度學習技術,證據2與證據3根本係不同的技術領域,欠缺技術關聯性。
⒉證據2是身份識別的技術,尋求對於指靜脈圖樣的相似性判斷
,證據3是為解決如何判斷該具有瑕疵的光罩不會影響後續所製作出的晶圓,而判斷出具有瑕疵的光罩可以被接受或不可被接受的規則,兩者在解決問題上沒有共通性。
⒊證據2是一種使用深度學習(深度卷積神經網路)之身份識別的
技術,僅將指靜脈特徵模板重置為相同像素大小後將全部像素值輸入至深度卷積神經網路進行訓練,並不會對同一手指之「兩個樣本圖像」或「模板對」進行特徵的量化和質化;證據3係人為設計出具有瑕疵的測試光罩,並判斷該等測試光罩所形成的晶圓圖案是否可被接受。因此,證據2不可能參考證據3人為地設計關於指靜脈的特徵數據,兩者亦欠缺功能或作用上的共通性。
⒋再者,證據3的技術内容強調「人為設計」瑕疵之光罩後做成
晶圓讓機器學習,乃傳統機器學習的技術,對於深度學習的技術領域中具有通常知識者而言,明確認知其不是深度學習技術。因此,當參考證據2内容並不會在訓練卷積神經網路架構時,刻意依循如證據3以人為設計或定義瑕疵,並將該些瑕疵資訊供卷積神經網路架構訓練,因卷積神經網路架構的深度學習,自始不需要人為設計或定義的瑕疵資訊。
(三)系爭專利請求項1至13相較於證據2及3之組合,具進步性:⒈系爭專利請求項1相較證據2、3之組合,均具有進步性:
⑴證據2與證據3無任何結合動機,技藝人士當不可能將兩者結合後輕易完成請求項1,已如前述。
⑵證據2僅揭示每一手指對應至少兩個樣本圖像,毫無關於請
求項1中定義的成對影像組合的揭示。雖證據3是由測試光罩獲得一對圖像,但依證據3圖3中的測試光罩所設計圖像並非成對應的設計,亦即證據3的内容中無法得到其缺陷圖像100是對應該無缺陷圖像110的揭示。因此即便將證據2與證據3結合亦無法彌補此兩者均未揭示請求項1所界定「提供成對影像組合,其中該成對影像組合包括至少一無暇影像與至少一對應於該無暇影像的瑕疵影像」。
⑶證據2主要使用的方法是隨機梯度下降演算法,該演算法是
用於更新神經網路的權重,而反向傳播算法是用於計算誤差信號並更新連接權重。因此,隨機梯度下降演算法和反向傳播算法是兩個不同的演算法,故證據2未揭示請求項1中之「經由反向傳播演算法調整全連結層個別的權重,以完成訓練」技術特徵。
⑷又證據3的瑕疵特徵是透過人為定義瑕疵特徵,引入測試光
罩中,以供機器(訓練引擎)進行訓練,並沒有使用到深度學習的技術,與系爭專利或是其他深度學習的基礎原理完全是不同世代的技術。至系爭專利的人工參與,只是為了確保機器取得的樣本是正確的(即確保機器確實有被提供「無瑕影像」與「至少一對應於該無瑕影像的瑕疵影像」),其瑕疵影像樣本未被人為修改或編輯加入瑕疵特徵,都是自然拍攝獲得,而系爭專利訓練用的瑕疵影像非經人為設定,是直接輸入至機器,由機器從「何為瑕疵」開始進行自主學習之深度學習,意即機器實質上並未被告知什麼是瑕疵。何況,除非所建立的類神經網路有自主意識,否則現存的任何類神經網路都無法完全的排除人為介入,因若沒有提供類神經網路學習時所需的基礎資料,類神經網路如何懂得要以何為基礎進行自主學習。因此,若依被告標準經由人工確認進行分類而獲得成對影像組即屬於人工介入,即是連最基本的是與非都不告知深度學習模型,而要求深度學習模型自行判定何為是何為非,目前已知技術中未有任何類神經網路系統能達到如此標準。
⑸在人工智慧領域中,兩種不同的類神經網路並不能任意替
換,尤其是在兩種類神經網路個別所映射的内容不相同的情況下,若將證據3的缺陷影像及參考影像等效置換證據2的兩張手指靜脈特徵模板,由於證據2的深度卷積神經網絡所進行的相似度映射是輸入兩組影像的相似度,因此深度卷積神經網路最終輸出的結果會是缺陷影像及參考影像是否相似的結論,顯然毫無意義,亦無法完成系爭專利請求項1之技術特徵。又若將證據2的深度卷積神經網路架構取代證據3的訓練引擎,但證據3的訓練引擎係為光罩的缺陷影像100及參考影像110映射至晶圚缺陷的物理過程,與系爭專利請求項1的光學檢測程序(即瑕疵檢測)亦不相同,而證據2的深度卷積神經網路則係映射的兩張影像的相似度。因此,合併證據2與證據3所獲得缺陷影像及參考影像的座標對於映射相似度也毫無意義,亦無法完成系爭專利請求項1之技術特徵。
⒉由於請求項1相對於證據2及3之組合具有進步性,則其附屬項
2至8,以及引用請求項1至8項内容之請求項9至13亦當具進步性無疑。
⒊況就請求項2之「標準母片影像樣本」,從系爭專利說明書可
推知係指完整的產品影像,因此,標準母片影像樣本係指實體產品的完整影像,並非設計階段的布局圖檔。但依證據3說明書第13欄第39至41行所指之「光罩設計資料庫的影像(image from the reticle design database)」顯然係指光罩之設計圖檔,並非完整實體產品的原始影像。因此證據2及3均未揭示請求項2之技術特徵,亦非技藝人士可輕易完成。
(四)系爭專利請求項1至13相較於證據2至4之組合,具進步性:由於證據2及3沒有結合之動機,證據4亦屬人工神經網路學習領域,其與證據3的傳統機器學習並無合理的結合動機。
況參加人引用證據4係因其揭露「反向傳播演算法調整權連結層各別的權重」。因此證據4所揭露内容,亦無法彌補上開證據2及證據3無法使請求項1不具進步性的差異。故系爭專利請求項1相較於證據2至4之組合,具有進步性,且其附屬項2至8,及引用請求項1内容之請求項9至13,亦當具進步性。
(五)系爭專利請求項3、9、10、12、13相較於證據2、3及5之組合,或證據2至5之組合,均具進步性:
承上,證據2及3沒有結合之動機,且系爭專利請求項1至13相較於證據2及3之組合應具進步性,及系爭專利請求項1至13相較於證據2至4之組合具有進步性。又證據5亦屬人工神經網路學習領域,其與證據3的傳統機器學習並無合理的結合動機。況參加人引用證據5係因其揭露「反向傳播演算法調整權連結層各別的權重」,因此證據5所揭露之内容,亦無法彌補上開證據2及3之證據組合或證據2至4證據組合無法使請求項1不具進步性的差異,當然其附屬項3以及引用請求項1内容之請求項9、10、12及13相對於證據2、3及5、或2至5之組合具有進步性。
(六)系爭專利請求項7相較於證據2、3及6之組合,或證據2至4及6之組合,均具進步性:
由於證據2及3無結合之動機,且系爭專利請求項1至13相較於證據2及3之組合應具進步性;系爭專利請求項1至13相較於證據2至4之組合具有進步性,均如前述。又證據6亦屬人工神經網路學習領域,其與證據3的傳統機器學習並無合理的結合動機。況參加人引用證據6係因其揭露「當疊代次數到達該閾值(30次)時,停止該訓練集」,因此證據6所揭露内容,亦無法彌補上開證據2及3之證據組合或證據2至4證據組合無法使請求項1不具進步性的差異,當然其附屬項7相對於證據2、3及6、或2至4及6之組合,具有進步性。
(七)系爭專利請求項8、9、10、12、13相較於證據2、3及7之組合,或證據2至4及7之組合,均具進步性:
由於證據2及3沒有結合之動機,且系爭專利請求項1至13相較於證據2及3之組合應具進步性;系爭專利請求項1至13相較於證據2至4之組合具有進步性,均如前述。另證據7亦屬人工神經網路學習領域,其與證據3的傳統機器學習並無合理的結合動機。況參加人引用證據7係因其揭露「卷積層、池化層、全連接層」之技術特徵,因此證據7所揭露之内容,亦無法彌補上開證據2及3之證據組合或證據2至4證據組合無法使請求項1不具進步性的差異,當然其附屬項8及引用請求項1内容之請求項9、10、12及13,相對於證據2、3及7或2至4及7之組合具有進步性。
(八)系爭專利請求項11相較於證據2至4及證據7之組合,具進步性:
由於系爭專利請求項1至13相較於證據2至4之組合具有進步性,又證據7亦屬人工神經網路學習領域,其與證據3的傳統機器學習並無合理的結合動機,均如前述。況參加人引用證據7係因其揭露「在輸出層進行正規化處理」內容,因此證據7所揭露之内容,亦無法彌補上開證據2至4證據組合無法使請求項1不具進步性的差異,當然引用請求項1内容之請求項11,相對於證據2至4及7之組合具有進步性。
(九)聲明:原處分就「請求項1至13舉發成立」部分及訴願決定均撤銷。
三、被告答辯及聲明:
(一)原處分未有依職權審查而引入參加人未提出之舉發理由,程序上無瑕疵:
⒈參加人舉發理由係依證據2、證據2及3或證據2、3、4之結合
,分別主張系爭專利請求項1不具進步性,並援引證據3之說明書第13欄第13至16行内容,具體指明其中測試光罩包括缺陷圖像100及無缺陷參考圖像110被傳送到訓練引擎130進行訓練之技術内容,可對應系爭專利請求項1之「成對影像」技術特徵。舉發理由書亦載明「就作為學習引擎的輸入資料而言,證據2的『成對影像』與證據3的『成對影像』並無任何區別,所屬技術領域中具有通常知識者,可將證據3的『成對影像』與證據2的『成對影像』作等效置換,而產生完全相同的作用,並達成完全相同的功效。相對於此,系爭專利並無任何功效上之增進。」顯然已主張證據2、3之技術内容,係對應系爭專利藉由成對影像訓練的神經網路架構及執行光學檢測程序之技術特徵,自無原告所稱相關比對内容未見於舉發理由之情形。
⒉原處分以舉發理由書提及證據3中揭露訓練引擎130之相同技
術特徵的對應說明段落,調查得出證據3訓練神經網路之目的,係用於對生產光罩(production reticles)進行光學檢測;觀原告之答辯理由既已明確答辯其訓練引擎是提供與該些測試瑕疵相關的訓練結果,以辨識已經或尚未轉移至測試晶圓測試瑕疵,足徵證據3揭示「利用已訓練的神經網路架構,執行一光學檢測程序」之技術特徵。故原處分係斟酌舉發理由、答辯意見及證據資料等全部陳述與調查事實及證據之結果,依論理及經驗法則判斷事實之真偽,並非審酌參加人未提出之理由及證據,所為結論亦難稱超出舉發理由書,並未違反行政程序法第102條及專利法第75條之規定。
⒊又原告爭執證據2、3之技術領域關聯性及結合論理與舉發理
由書不同。惟本件舉發審查依歷次所提出舉發答辯理由及補充答辯理由書,原告所爭執證據2、3之結合動機亦已獲充分申復答辯,而原處分依論理及經驗法則判斷事實之真偽,並將判斷結果及得心證之理由記載於專利舉發審定書,所為之結論難稱超出舉發理由書,亦未違反行政程序法第102條及專利法第75條之規定。
⒋原處分引用「台灣IBM Cloud學習中心」網頁資料,係用以補
充說明一般周知神經網路與深度學習技術用語,為輔助了解系爭專利說明書中所載深度學習一詞,在該發明所屬技術領域中具有通常知識者認為正確之技術事實,而非以該網頁資料作為進步性之組合證據。至原告進一步爭執舉發理由書係主張證據2、3均屬深度學習相關技術領域,而非原處分理由所述均屬神經網路相關技術領域。惟查,一般周知深度學習是由一個三層以上組層的神經網路之技術事實,此為系爭專利申請時通常知識,故證據2、3自屬於神經網路相關技術領域無誤。
(二)證據2、3具有結合動機:⒈神經網路是機器學習的子集,也是深度學習演算法的核心,
一般周知神經網路與深度學習的區別在於神經網路中的層級深度,而深度學習通常是由一個三層以上組層的神經網路,故深度學習是在神經網路所屬技術領域的相同發展脈絡中向前演進,何況系爭專利說明書之先前技術明確指出各種生活相關領域都可以看到深度學習的推廣應用,其中影像辨識於深度學習上的應用上最為廣泛,則具有通常知識者在應用神經網路解決問題時,自有充分動機採用已屬先前技術的各種深度學習方法。
⒉依證據3說明書所揭示「神經網路(neural network)」的訓練
,可見其為深度學習的相關先前技術,證據3已揭示可利用光罩圖像資料訓練一神經網路,並涉及缺陷圖像及無缺陷參考圖像(圖2,DEFECT IMAGE及REF. IMAGE)之影像辨識;而證據2揭示一卷積神經網路架構係屬三層以上組層的神經網路,利用圖像資料進行深度學習之影像辨識技術,可見在系爭專利申請時,利用卷積神經網路進行影像辨識之深度學習已屬一般周知普遍使用的通常知識。證據2旨在利用卷積神經網路對指靜脈圖像樣本進行訓練,以替代先前技術之指靜脈圖像辨識方法,證據3的光罩上缺陷圖像及無缺陷參考圖像,同樣需要神經網路進行訓練與辨識,據以確認是否會將缺陷圖像打印在生產晶片上,故對於所屬技術領域中具有通常知識者,當有動機以證據2揭示之深度卷積神經網路架構,作為證據3之光罩檢測系統中「神經網路」訓練引擎「TRAIN ENGINE」。
(三)證據3已揭示系爭專利請求項1之瑕疵影像及無瑕影像:⒈依證據3之說明書第13欄第13至16行及圖2揭示包括缺陷圖像1
00(defect image)及無缺陷參考圖像110(defect freereference image)的一對圖像通過晶片掃描儀155從測試光罩(test reticle)獲得並且被傳送到訓練引擎130(如圖2之箭頭A及B所示),即晶片掃描儀經由自然拍攝測試光罩,獲得包含缺陷圖像100及無缺陷參考圖像110的成對影像樣本以進行神經網路訓練,並無原告所稱拍攝圖像後再以人工修改或編輯加入瑕疵特徵等加工行為。
⒉系爭專利請求項1中僅界定「提供成對影像組合,其中該成對
影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像」,並無限縮該瑕疵影像是否非屬人為設計,即使參酌說明書第[0035]段内容,亦僅揭露「提供複數個預先由標準母片及複數個檢測影像中揀選出的成對影像組,該成對影像組合中係包括至少一無瑕影像、以及至少一對應於該無瑕影像的瑕疵影像」,但所述檢測影像之來源及檢測物形成方式皆屬未知,當然無法直接且無歧異得知該瑕疵影像是否非屬人為設計。又證據3之瑕疵影像實際上是從測試光罩(te
st reticle)上獲得的缺陷圖像100及無缺陷參考圖像110(見圖2,另參照圖3為測試光罩包含缺陷圖像特徵315、325、335及相對應無缺陷圖像特徵310之示意圖),當已對應揭示系爭專利請求項1之瑕疵影像及無瑕影像。
⒊由於證據3已揭示將缺陷圖像100(defect image)及無缺陷參
考圖像110(defect free reference image)傳送到訓練引擎130,此即為確保機器有被提供「無瑕影像」與「瑕疵影像」以進行學習訓練,其與系爭專利以人工參與確保機器有被提供「無瑕影像」及「瑕疵影像」之目的並無不同,兩者皆是直接輸入至機器進行訓練學習。
⒋關於證據3所述訓練神經網路(neural network),實際上是訓
練引擎(Training engine 130)與記憶體(memory 140)元件進行協同運作的結果。由說明書第10欄第25至32行記載明確揭示「訓練完成的神經網路最好以每個節點的節點權重列表的形式儲存」。熟習該技術領域人員可知,該神經網路可實現為在通用電腦計算機上運行的演算法、專用硬體或兩者結合。具體而言,可使用硬體模組來加快需要進行強度計算的演算法部分。申言之,如證據3所述神經網路,按通常知識理解應是由訓練引擎(Training engine 130)執行訓練神經網路的演算法,並結合記憶體(memory 140)用以儲存訓練結果資料(如儲存神經網路中每個節點的節點權重列表),如單獨僅以記憶體本身提供儲存資料之功能,並不足夠實施一個完整的神經網路。
(四)證據2已揭示系爭專利請求項1之1d技術特徵:證據2為一種基於深度卷積神經網路的指靜脈驗證身份識別方法,說明書第[0058]段內容揭示由同一手指的兩個特徵模板所組成的一對模板影像(即成對影像)輸入至卷積神經網路進行學習訓練;說明書第[0084]段內容則揭示「在深度神經網路的學習訓練階段,本發明採用難分樣本挖掘策略。每次迭代生成一組256個隨機選擇的模板對,該模板包括128個負對和128個正對,通過網路向前傳播後,計算它們的損失值。其中僅保留32個最難分類的負對和32個最難分類的正對,這些最難分類的模板對通過反向傳播來更新權值矩陣。」由於卷積神經網路中具有全連結層,並且一般周知全連結層指的就是神經網路中任意兩個相鄰層之間的每一個神經元節點全部互相連接,而任意兩個互相連接的神經元節點均具有一個連接的權重,故證據2所述「通過反向傳播來更新權值矩陣」即為在訓練過程利用反向傳播演算法來調整、更新全連結層的個別權重。因此,證據2已對應揭示系爭專利請求項1之1d「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練」技術特徵。
(五)原告雖主張若兩種類神經網路個別所映射的内容不相同的情況下不能任意替換,合併證據2與證據3所獲得缺陷影像及參考影像的座標對於映射相似度亦毫無意義性,無法完成系爭專利請求項1之技術特徵。惟查,證據2、3均屬神經網路相關技術領域,彼此皆為使用圖像資料進行神經網路訓練,對於所屬技術領域中具有通常知識者而言,當有動機以證據2已揭示之深度卷積神經網路架構,作為證據3之光罩檢測系統中神經網路訓練引擎,其並非兩種類神經網路替換,而是證據3之「神經網路」訓練引擎可參用證據2揭示訓練卷積神經網路用於影像辨識之技術内容,據以訓練學習辨識光罩上的缺陷圖像及無缺陷參考圖像,從而確認是否會將缺陷圖像打印在生產晶片上。而神經網路均具有學習適應功能,若是應用於影像辨識的神經網路,則是根據所輸入的影像樣本資料將影像特徵擷取出來,不斷的反覆訓練學習分類的過程,故即使應用相同先前技術之神經網路(例如卷積神經網路),根據提供給神經網路的資料樣本不同,自會經過學習適應而得出不同的分類映射内容,例如證據2所揭示卷積神經網路是將一對指靜脈特徵模板映射到一個相似度,而系爭專利同樣使用卷積神經網路,但映射結果則是待測物影像是否為瑕疵。又如證據6揭示内容旨在利用卷積神經網路對無線電星系圖像進行分類,以及證據7揭示内容旨在利用採集到包含不同場景、目標的圖像樣本訓練多層卷積神經網路模型以獲得圖像場景與目標識別的分類結果,足徵卷積神經網路的深度學習方法可適用各種領域之影像辨識,此亦符合系爭專利說明書中明確指出各種生活相關領域都可以看到深度學習的推廣應用,其中影像辨識於深度學習上的應用上最為廣泛之事實,故難謂已屬先前技術之卷積神經網路無法用於證據3之光罩檢測系統的「神經網路」訓練引擎,以訓練學習光罩上缺陷圖像及無缺陷參考圖像的影像辨識。
(六)原告另主張系爭專利請求項2、3所界定「標準母片影像樣本」,從系爭專利說明書内容可推知,係指實體產品的完整影像,並非是證據3說明書所指「光罩設計資料庫的影像(image from the reticle design database)」的光罩設計圖標,證據2及3均未揭示此技術特徵云云。惟系爭專利請求項2、3中並未將標準母片影像限縮為「實體產品的完整影像」,自不得作為主張具進步性之依據;又該標準母片影像樣本於系爭專利中的作用是提供「無瑕影像」,而證據3亦揭示將無缺陷參考圖像輸入神經網路訓練引擎(圖2,TRAIN ENGINE 130),可知兩者在神經網路中屬於相同功能或作用,均是提供無瑕影像進行神經網路訓練,縱使本項之標準母片影像限縮解釋為「實體產品的完整影像」,僅屬簡單變更無瑕影像的來源選擇,亦不具進步性。
(七)原處分意旨併同前述答辯内容已述明證據2、3之結合足以證明系爭專利請求項1不具進步性,而系爭專利請求項2至10之附屬項,以及引用請求項1方法内容之獨立項請求項11、12、13,其不具進步性理由如原處分所載。
(八)聲明:原告之訴駁回。
四、參加人答辯及聲明:
(一)證據3所揭示「neural network」係指代「用於存儲神經網路參數之記憶體」,而為「memory140」的較佳實施形態:
⒈在說明書第13欄第27至29行「Training engine stores the
results of the analysis of station 120 in a memory140, preferably a neural network.(訓練引擎將站點120的分析結果儲存在記憶體140中,最好是神經網路)」中,「a neural network」指的是「a memory 140」。嚴格來說,神經網路並非記憶體的類型,而是機器學習模型或演算法。然而在實際應用中,神經網路常需要使用大量的參數(即權重和偏差),這些參數需要儲存在記憶體中以供計算及預測。因此,在文字表達中,神經網路的參數可視為一種記憶體,通常會儲存在電腦的RAM或硬碟中。據此「neuralnetwork」應係指代「用於存儲參數之記憶體」的一種形式,而成為「memory140」的較佳(preferably)實施形態。
⒉「Once memory 140 is sufficiently trained,inspection
of production reticles can commence.(一旦記憶體140受過充分的訓練,就可以開始檢查生產晶圓)」中的 「memory
140」,亦為指代「含存儲參數之記憶體的neural network」的一種形式。證據3說明書此等段落中的「memory 140」與「a neural network」,係互為指代。所謂「memory 140
is sufficiently trained(記憶體140受過充分的訓練)」,實質技術意義即「充分調整好參數(權重和偏差),並將其儲存在神經網路所含的記憶體中」。
⒊承上證據3說明書段落「neural network」與「memory 140」
相互指代,「training engine」是訓練模型引擎或平臺,可訓練不同種類的機器學習模型,包括神經網路。證據3既已揭露「訓練引擎將分析結果儲存在(以神經網路為佳的)記憶體中」,則該訓練引擎自應最好是神經網路(至少可以是神經網路),而將分析結果儲存在該神經網路的記憶體中。
因此,原處分所提「訓練引擎最好是神經網路,其將分析結果儲存在記憶體140中」,已精確描述證據3所揭技術之實質内容,並無任何違誤。故證據3已揭露「訓練引擎是神經網路、將分析結果儲存在記憶體中」之技術特徵。
(二)證據2、3或證據2、3、4之組合,已揭露系爭專利請求項1要件1b、1d之技術特徵:
⒈證據2請求項1揭露:「1.採集或選取多個樣本圖像,即指靜
脈近紅外圖像;其中,每一手指對應至少兩個樣本圖像;2.對於每一所述近紅外圖像,生成一指靜脈特徵範本;3.利用各所述指靜脈特徵範本訓練基於深度卷積神經網路,得到一個將同一手指的一對指靜脈特徵範本映射到一個相似度的基於深度卷積神經網路」。其中「兩個樣本圖像」相當於系爭專利的「成對影像組合」;證據2教示「據相似度判斷兩者是不是同一個手指的指靜脈近紅外圖像」,故就不相似的一對指靜脈特徵範本而言,以其一為「無瑕影像」之特例,另一即為「瑕疵影像」之特例。因此,證據2已揭露請求項1要件lb「提供成對影像組合,其中成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像」的下位概念。
⒉證據2說明書第[0084]段揭露:「在深度神經網路的學習訓練
階段」、「每次反覆運算生成一組256個隨機選擇的範本對,該範本包括128個負對和128個正對,通過網路向前傳播後,計算它們的損失值。其中僅保留32個最難分類的負對和32個最難分類的正對,這些最難分類的範本對通過反向傳播來更新權值矩陣。」。其中「範本對」即系爭專利的「成對影像組合」,證據2的「通過反向傳播來更新權值矩陣」即系爭專利的「經由反向傳播演算法調整全連結層個別的權重,以完成訓練」。因此,證據2已揭露系爭專利請求項1要件1d「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練」之下位概念。況縱認證據2未精確揭露請求項1要件lb(即要件1d之「該成對影像組合」),若將證據2所揭露「成對影像」之其一作為「參考影像」(相當於「無瑕影像」),與其相比對者即為「待判斷影像」(相當於「瑕疵影像」),則其作用功效與系爭專利之成對「無瑕影像」及「瑕疵影像」並無二致,且系爭專利相對於證據2無不可預期之功效。因此,證據2足證請求項1不具進步性。
⒊證據3說明書第13欄第13至16行揭露:一成對影像,包含一瑕
疵影像100及一參考無瑕影像110,以藉晶圓掃瞄器自測試光罩採集而送入學習引擎130為佳。第13欄第37至39行亦揭露:對於每個缺陷,都會提供兩個圖像,即缺陷圖像100'和參考圖像110'。故證據3完全揭露請求項1要件lb的「提供成對影像組合(證據3的「A pair of images」、「two images」),其中該成對影像組合包括至少一無瑕影像(證據3的「defect free reference image110」、「reference image110'」)與至少一對應於該無瑕影像的瑕疵影像(證據3的「defect image100」、「image 100' of the defect」)」,亦即已揭露要件1d中的「該成對影像組合」。且證據3所揭示「成對影像組合」係作為深度學習的輸入影像,與證據2及系爭專利皆完全相同。就作為學習引擎的輸入資料而言,證據2的「成對影像組合」與證據3的「成對影像組合」無任何差別,所屬技術領域中具有通常知識者可輕易將證據3的「成對影像組合」與證據2的「成對影像組合」作等效置換,而產生完全相同的作用,並達成完全相同的功效。系爭專利亦僅以相同技術特徵產生相同作用並達成相同功效,而無任何不可預期之功效。因此,證據2與證據3之組合足證請求項1不具進步性。進而,證據2、3、4之組合亦足證請求項1不具進步性。
(三)聲明:原告之訴駁回。
五、本院判斷:
(一)應適用之法令:⒈按發明專利權得提起舉發之情事,依其核准審定時之規定,
專利法第71條第3項本文定有明文。本件系爭專利之申請日為106年12月25日,審定日為107年12月19日,是系爭專利有無撤銷之原因,自應以其核准審定時所適用之106年1月18日修正公布、同年5月1日施行之專利法(下稱核准時專利法)為斷。
⒉次按利用自然法則之技術思想之創作,且可供產業上利用者
,得依法申請取得發明專利,核准時專利法第21條、第22條第1項前段定有明文。但發明如為其所屬技術領域中具有通常知識者依申請前之先前技術所能輕易完成時,仍不得取得發明專利,同法第22條第2項亦有規定。
(二)系爭專利技術分析:⒈系爭專利技術內容:
系爭專利的主要目的,在於提供一種訓練方式,可以有效增加深度學習於假性缺陷的濾除率,同時減少訓練的時間、所需的樣本數以及模型的數據量。為達到上述目的,系爭專利係提供一種利用深度學習的自動光學檢測方法,包含:提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像;提供一卷積神經網路架構,並於該卷積神經網路架構中啟動訓練模式;將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練;以及利用已訓練的該卷積神經網路架構,執行一光學檢測程序。進一步地,該卷積神經網路架構係執行以下的方法:經由複數個卷積層由輸入的該成對影像組合中篩選出特徵影像;將篩選出的該特徵影像經由線性整流單元使一部分該特徵影像上的像元輸出為0;進行池化處理將所獲得的該特徵影像進行壓縮以簡化該特徵影像;以及經由該全連結層篩選該特徵影像,以將該特徵影像依據權重比例進行分類,並將分類的結果進行正規化處理,以獲得檢測的結論(參系爭專利說明書發明內容第0003至0005段及第5圖)。
⒉系爭專利主要圖式:如附圖1所示。
⒊系爭專利申請專利範圍分析:
參加人舉發系爭專利後,原告於108年12月13日提出更正申請,經被告依108年12月13日更正本進行審查後准予更正,更正後系爭專利申請專利範圍共13個請求項,其中請求項1、9、11至13為獨立項,其餘為附屬項,內容如下:
⑴一種利用深度學習的自動光學檢測方法(1a),包含:
提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(1b);提供一卷積神經網路架構,並於該卷積神經網路架構中啟動訓練模式(1c);將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d);以及利用已訓練的該卷積神經網路架構,執行一光學檢測程序(1e)。
⑵如申請專利範圍第1項所述的利用深度學習的自動光學檢測
方法,其中,該成對影像組合包括至少一個標準母片影像樣本。
⑶如申請專利範圍第1項所述的利用深度學習的自動光學檢測
方法,其中,係提供至少一完整的標準母片影像至該卷積神經網路架構,並經由反向傳播演算法調整全連結層的權重。
⑷如申請專利範圍第1項所述的利用深度學習的自動光學檢測
方法,其中,該成對影像組合中的瑕疵影像係經由人工確認而獲得。
⑸如申請專利範圍第1項所述的利用深度學習的自動光學檢測
方法,其中,該無瑕影像及該瑕疵影像係分別由檢測影像及標準母片中重疊位置所擷取而得。
⑹如申請專利範圍第5項所述的利用深度學習的自動光學檢測
方法,其中,所取得的該無瑕影像及該瑕疵影像係預先經由灰階處理。
⑺如申請專利範圍第5項所述的利用深度學習的自動光學檢測方法,其中,該反向傳播演算法係包括:
將訓練影像輸入至該卷積神經網路架構,以獲得數據;將數據分成訓練集以及驗證集;依據該訓練集計算梯度,估計出前導層的誤差,並藉此更新每一神經元的權重和閾值;以及依據該驗證集估計誤差,當疊代次數或是容許誤差到達該閾值時,停止該訓練集。
⑻如申請專利範圍第5項所述的利用深度學習的自動光學檢測
方法,其中,該卷積神經網路架構係執行以下的方法:經由複數個卷積層由輸入的該成對影像組合中篩選出特徵影像;將篩選出的該特徵影像經由線性整流單元使一部分該特徵影像上的像元輸出為0;進行池化處理將所獲得的該特徵影像進行壓縮以簡化該特徵影像;以及經由該全連結層篩選該特徵影像,以將該特徵影像依據權重比例進行分類,並將分類的結果進行正規化處理,以獲得檢測的結論。
⑼一種執行申請專利範圍第1項至第8項中任一項所述方法的
自動光學檢測設備,更包括:一影像擷取裝置,用以擷取一待測工件之影像;以及一運算裝置,耦合至該影像擷取裝置,根據已訓練的該卷積神經網路架構,對該待測工件之影像執行該光學檢測程序。
⑽如申請專利範圍第9項所述的自動光學檢測設備,其中,該卷積神經網路架構,由輸入至輸出的順序包括:
一第一特徵提取器,具有一第一卷積群層與一用以執行空間降維的第一池化層;一第二特徵提取器,耦合至該第一特徵提取器,其中該第二特徵提取器具有一第二卷積群層與一用以執行空間降維的第二池化層;一第三特徵提取器,耦合至該第二特徵提取器,該第三特徵提取器具有一第三卷積群層與一用以執行空間降維的第三池化層;一第四特徵提取器,耦合至該第三特徵提取器,該第四特徵提取器具有一第四卷積群層與一用以執行空間降維的第四池化層;一第五特徵提取器,耦合至該第四特徵提取器,該第五特徵提取器具有一第五卷積群層與一用以執行空間降維的第五池化層;一或複數個全連結層,設置於該第五特徵提取器的輸出,依據權重比例進行分類;以及一正規化輸出層,輸出分類的結果。
⑾一種深度學習系統,其應用於如申請專利範圍第1項所述的自動光學檢測方法,包括:
一或複數個特徵提取器,該特徵提取器包括一或複數個卷積層、一或複數個線性整流單元、以及一或複數個池化層進行特徵強化及影像壓縮處理;一或複數個全連結層,依據權重比例進行分類;一正規化輸出層,輸出分類的結果;一比較模組,於取得該分類的結果後,將該分類的結果與預期輸出進行比對,判斷該分類的結果是否符合預期;以及一權重調整模組,若該分類的結果不符合預期的話,基於反向傳播演算法計算並調整全連結層的權重。
⑿一種電腦程式,用於安裝在一電腦設備上,並執行如申請
專利範圍第1項至第8項中任一項所述的利用深度學習的自動光學檢測方法。
⒀一種電腦可讀取之記錄媒體,儲存有一電腦程式,該電腦
程式用以安裝在一電腦設備,並執行如申請專利範圍第1項至第8項中任一項所述的利用深度學習的自動光學檢測方法。
(三)舉發證據技術分析:⒈附表所示證據2至7之公開或公告日皆早於系爭專利申請日(106年12月25日),皆可為系爭專利相關之先前技術。
⒉證據2技術內容:
係一種基於深度卷積神經網路的指靜脈驗證身份識別方法。
其步驟為:1.採集或選取多個樣本圖像,即指靜脈近紅外圖像;其中,每一手指對應至少兩個樣本圖像;2.對於每一所述近紅外圖像,生成一指靜脈特徵範本;3.利用各所述指靜脈特徵範本訓練基於深度卷積神經網路,得到一個將同一手指的一對指靜脈特徵範本映射到一個相似度的基於深度卷積神經網路;4.利用訓練後的深度卷積神經網路計算待驗證指靜脈近紅外圖像的指靜脈特徵模板與每一樣本圖像的指靜脈特徵模板的相似度,並據相似度判斷兩者是不是同一個手指的指靜脈近紅外圖像(請求項1)。
⒊證據3技術內容:
⑴係一種光罩檢測的方法,包括:生成一個測試用光罩,其
中包含多個測試圖案特徵,包括至少一個預定義的缺陷圖案特徵;使用該光罩來製造晶圓;以及確定至少一個測試圖案特徵從該光罩轉移至該晶圓(請求項1)。
證據3之圖2示意性地呈現發明的首選實施方式。虛線上方的元素涉及測試光罩和訓練引擎,而線下的元素涉及生產光罩的檢測。首先,準備一個測試光罩,最好由晶圓掃描儀155從測試光罩中獲取一對圖像,包括一個缺陷圖像100和一個無缺陷參考圖像110,並將其發送到訓練引擎130(表示為箭頭A、B)。參考圖像最好包括一個重複缺陷圖案的光罩部分,不包括該缺陷。每個圖像最好包括獲取圖像的光罩坐標,以便可以識別缺陷本身(說明書第13欄第2段,第8至21行)。
測試光罩用於曝光晶圓,然後將晶圓放置在晶圓檢查站120中。圖像100和110的坐標115被輸入到檢查站120中(箭頭G),該站檢查每對圖像是否印刷了缺陷,檢查結果被送到訓練引擎130中(由箭頭C表示)。訓練引擎將檢查站120分析的結果儲存在記憶體140中,最好是一個神經網路。可以理解的是,可以使用不同的訓練方法,例如查找表和/或圖案匹配引擎。在發明的首選實施方式中,查找表可以是Result=“A”+“B”,其中“+”表示連接運算符。或者查找表僅包括缺陷圖像100,及是否允許的指示(說明書第13欄第3段,第22至35行)。
當記憶體140訓練充分後,便可以開始檢查生產用光罩。
對於每個缺陷,提供兩張圖像,一張缺陷圖像100'和一張參考圖像110'。參考圖像可以是相鄰晶片的圖像,也可以是光罩設計資料庫中的圖像。或者它可以是設計規則所定義的表示。這些圖像被輸入到決策引擎150中,使用記憶體140來決定(F),發現的缺陷是否會在生產晶片上印刷。
除了使用兩張圖像之外,缺陷圖像也可以與原始設計的指示一起提供給引擎150(說明書第13欄第4段,第36至47行)。
⑵主要圖式:如附圖2所示。
⒋證據4技術內容:
⑴[0103]重新訓練過程可能涉及前向傳播和誤差反向傳播。
例如,神經網路分析器可能通過使用修改後的卷積核集的基本卷積核來實現前向傳播以實施約束。神經網路分析器可能執行反向傳播,以便梯度下降對約束(即基本卷積核)沒有影響,同時仍然更新其他卷積核。
⑵[0089]一般而言,圖9顯示了在神經網路訓練和卷積權重確
定後,識別類似卷積核的組。進一步地,可以計算一個或多個基本卷積核和縮放因子。這些縮放因子和基本卷積核可以直接用於執行神經網路,作為原始訓練神經網路的近似。另外,在重新參數化的神經網路上可以執行重新訓練。在重新訓練中,可以用基本卷積核、縮放因子和卷積權重重新定義神經網路。由於重新訓練,基本卷積核的權重和縮放因子可能會得到改進。此外,可能會改進其他網路參數,例如全連接層的權重。重新訓練的結果可能是一個與原始神經網路非常接近的神經網路。結果神經網路可能略微不那麼精確或略微更精確,但仍然可以保持使用基本卷積核和縮放因子的計算效率,而不是原始獨立卷積核。
⒌證據5技術內容:
⑴[0110]在某一實施例中,一個或多個電腦子系統被配置為
將待測樣品的運行時影像或另一個樣品的影像輸入到經過訓練的神經網路中,以使該經過訓練的神經網路確定運行時影像的倒轉特徵,該倒轉特徵是經過光學糾正的運行時影像的特徵。該一個或多個電腦子系統被配置用於對檢測到的運行時影像或經過光學糾正的運行時影像進行缺陷分類,並且基於經過光學糾正的運行時影像進行分類。例如,運行時影像可以是樣品或其他樣品的光學影像,而經過光學糾正的運行時影像可以包括該樣品或其他樣品的更高分辨率影像,例如可以由電子束成像子系統生成的影像和/或用於該樣品或其他樣品的設計數據或設計信息的影像。
⑵[0025]「設計」、「設計數據」和「設計信息」這些詞在
此文件中互換使用,通常指集成電路的物理設計(佈局)和通過複雜模擬或簡單的幾何和布林運算獲得的數據。此外,由晶片版檢測系統獲得的晶片版圖像及其衍生物可用作設計的「代理」。在使用設計的任何描述中,此類晶片版圖像或其衍生物可作為設計佈局的替代品。該設計可能包括在共同擁有的美國專利7,570,796和7,676,077中描述的任何其他設計數據或設計數據代理,兩者均於此引用,就像完全在此設定一樣。此外,設計數據可以是標準單元庫數據、集成佈局數據、一個或多個層的設計數據、設計數據的衍生物以及全面或部分的晶片設計數據。
⑶[0085]在另一個實施例中,正向物理模型被實現或近似為
一個額外的神經網路。例如,正向物理模型可以通過深度學習神經層來實現,這確實可以形成一個神經網路,並像原始模型一樣執行精確的數學計算。由於原始模型的數學是可微分的,其神經網路實現允許在訓練期間應用反向傳播。通過這種方式,將正向物理模型實現為神經網路意味著通過神經網路精確實現物理模型的數學。然而,在無法實現精確實現或模型不直接可微分的情況下,正向物理模型可以近似為神經網路。
⑷[0079]上述的神經網路每一層可能有一個或多個參數,例
如權重W和偏差B,其值可以通過訓練神經網路來確定,該訓練可以按照進一步說明的方式進行。例如,可以通過最小化成本函數來確定神經網路中包含的任何層的權重和偏差。成本函數可能會因圖像所進行的轉換而異。
⒍證據6技術內容:
每一層的核都是用隨機高斯值初始化。我們使用了一個批量大小為100的隨機梯度下降算法(Duda等人,西元2012年)進行訓練。批量大小決定了在使用隨機梯度下降算法計算反向傳播誤差之前進行單次前向傳遞的樣本數。最佳學習率是一個基於0.01的步長函數。訓練進行了30個時期,每個時期都對網路進行驗證以跟踪學習性能。三個二元分類模型的學習曲線如圖5所示(第8頁左邊欄位第7至18行)。
⒎證據7技術內容:
係一種基於多工學習的場景與目標識別的方法,其特徵是該方法包括如下步驟:
步驟S1:採集包含不同場景、目標的圖片為圖像樣本資料;步驟S2:對圖像樣本資料進行手動標籤標記,得到目標類別
標籤及場景類別標籤;步驟S3:構建多層卷積神經網路模型,進行網路初始化;步驟S4:採用圖像樣本資料及對應的目標類別標籤,對構建
好的模型進行預訓練,直至收斂,得到目標識別模型;步驟S5:基於多工學習技術,在目標識別模型的特定層加入
網路分支,並隨機初始化,得到多工網路;步驟S6:採用圖像樣本資料及對應的場景類別標籤、目標類
別標籤,對多工網路進行再訓練,直至收斂,得到多工學習模型;步驟S7:輸入新的圖像資料至多工學習模型,得到圖像的場景及目標識別的分類結果(請求項1)。
(四)證據2、3之結合不足以證明系爭專利請求項1至10、12、13不具進步性:
⒈系爭專利請求項1之技術特徵,並未被證據2或證據3全部揭露:
⑴證據2說明書第[0039]段揭示使用基於深度卷積神經網路的
方法計算特徵範本和已註冊人對應手指的特徵範本的相似度,並據相似度判斷兩者是不是同一個手指。又依其請求項1第4步驟,揭示利用訓練後的深度卷積神經網路計算待驗證指靜脈近紅外圖像的指靜脈特徵模板與每一樣本圖像的指靜脈特徵模板的相似度,並據相似度判斷兩者是不是同一個手指的指靜脈近紅外圖像。可知證據2係利用一卷積神經網路做資料之訓練及以訓練後卷積神經網路計算後續之資料(指靜脈特徵模板的相似度),此相當於卷積神經網路之訓練模式,雖有揭示系爭專利請求項1之「提供一卷積神經網路架構,並於該卷積神經網路架構中啟動訓練模式(1c)」及「利用已訓練的該卷積神經網路架構,執行一光學檢測程序(1e)」之技術特徵,惟未揭示請求項1之「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(1b)」、「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d)」之技術特徵。
⑵依證據3說明書第13欄第13至16行及圖2揭示由晶圓掃描儀1
55從測試光罩中獲取一對圖像,包括一個缺陷圖像100和一個無缺陷參考圖像110,並將其發送到訓練引擎130(表示為箭頭A、B),雖有揭示「缺陷圖像」和「無缺陷參考圖像」,惟未明確揭示缺陷圖像和無缺陷參考圖像為「成對影像」且具有對應關係,即未揭示請求項1界定「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(1b)」技術特徵。又依證據3說明書第13欄第27至29行原文「Training engine stores the results of the analysis ofstation 120 in a memory 140, preferably a neuralnetwork.」其中文翻譯為:「訓練引擎將檢查站120分析的結果儲存在記憶體140中,最好是一個神經網路」。其中句末所指「神經網路」係指記憶體140,而非指該訓練引擎(Training engine)為神經網路,且由證據3上述段落之下方即證據3第13欄第36行起,原文為「Once memory
140 is sufficiently trained, inspection ofproduction reticlescan commence.」翻成中文為:「當記憶體140訓練充分後,便可以開始檢查生產用光罩」,可知證據3此部分揭示神經網路係記憶體140,而非指該訓練引擎,故證據3並未揭示訓練引擎為神經網路。
⑶再觀證據3說明書第13欄第13至45行,關於證據3圖2之對應
文字解說,其中圖2中間之虛線上方涉及測試光罩和訓練引擎,虛線下方涉及生產光罩的檢測(第13欄第10至12行),故證據3在測試訓練與檢測係用兩個不同之引擎。又依說明書第23至29行揭示圖像100和110的坐標115被輸入到檢查站120中(箭頭G),該站檢查每對圖像是否印刷了缺陷,檢查結果被送到訓練引擎130中(由箭頭C表示)。訓練引擎將檢查站120分析的結果儲存在記憶體140中,最好是一個神經網路。由此可知,證據3揭示係需要待檢測圖像之座標,並以檢查站對每對圖像是否印刷了缺陷做檢查,而訓練引擎並無做檢查之動作。故訓練引擎僅為將檢查站分析的結果儲存在記憶體中,而證據3又揭示此一記憶體最好是一神經網路(同前說明,證據3揭示之「最好是一神經網路」係指記憶體,而非訓練引擎)。故證據3揭示之訓練引擎,其實際上揭示之執行功能僅為將檢查站分析的結果儲存在記憶體中,非關對每對圖像是否印刷了缺陷做檢查,亦無關神經網路,更非卷積神經網路架構,是此部分揭示訓練引擎之訓練,僅有字面上「訓練」意義,而無揭示關於神經網路相關之功能,亦非關於卷積神經網路架構,亦即證據3既未揭示「成對影像組合」,更未揭示將該成對影像組合(證據3未揭示為成對且具對應關係)輸入至該卷積神經網路架構,故證據3並未揭示系爭專利請求項1界定「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(1b)」之技術特徵,亦無從揭示含有「成對影像組合」要件之請求項1之「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d)」技術特徵。
⑷從而,證據3仍未揭示證據2與系爭專利請求項1界定之差異
技術特徵(1b)、(1d),故證據2、證據3均未揭示系爭專利請求項1所界定之全部技術特徵,且縱予結合亦無從揭示系爭專利請求項1所界定之全部技術特徵。故證據2、3之結合不足以證明系爭專利請求項1不具進步性。
⒉就被告及參加人之辯駁:
⑴被告雖稱:證據2說明書第0058段已揭示由同一手指的兩個
特徵模板所組成的兩個模板影像(即成對影像)、第0084段揭示通過反向傳播來更新權值矩陣、第0057段揭示卷積神經網路架構第25至26層即FC全連結層,故已對應揭示系爭專利請求項1之「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d)」技術特徵。又參加人雖稱:證據2中「兩個樣本圖像」相當於系爭專利的「成對影像組合」,已教示「據相似度判斷兩者是不是同一個手指的指靜脈近紅外圖像」,故就不相似的一對指靜脈特徵範本而言,以其一為「無瑕影像」特例,另一即為「瑕疵影像」特例。因此證據2已揭露請求項1要件lb「提供成對影像組合,其中成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像」的下位概念等等。惟查:①依原處分第6頁第(五)之1之(1)點第6行起及第7頁第2之(
1)點第6行起(本院卷第42至43頁)已自承:系爭專利請求項1與證據2之差異為證據2所述同一手指的兩個特徵模板(模板對)並未揭示「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像」之技術特徵,故不足以證明系爭專利請求項1不具新穎性;及雖然證據2有提到「一對指靜脈特徵模板」,但此模板對缺乏揭露在瑕疵性質上或位置上的對應關係,無法合理推知證據2已揭示成對影像組合其中包含「瑕疵影像」與「無瑕影像」的成對概念,其非所屬技術領域中具有通常知識者依據證據2之技術内容即能輕易完成者,故證據2不足以證明系爭專利請求項1不具進步性。
②被告既已在原處分內自承證據2並未揭示「提供成對影像
組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(lb)」技術特徵,且被告亦自認證據2並未顯示無瑕影像與瑕疵影像之組合(本院卷一第483頁),而系爭專利請求項1界定之「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d)」技術特徵中,包括「成對影像組合」此一技術特徵,而「成對影像組合」係依循先前界定之技術特徵「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(1b)」,明確指出「該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像」,故「成對影像組合」之解釋應為「該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像」,而非僅為「成對影像組合」,故證據2並未揭示系爭專利請求項1界定之「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d)」技術特徵。再參以證據2僅揭示每一手指對應至少兩個樣本圖像,該兩個樣本圖像或範本對既為同一手指產出,理應為相同之圖像,而非含有至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像,即其所揭示「兩個樣本圖像」或「兩個模板」或未必會是「成對影像組合」,因此證據2至多僅揭示至少兩個或「一對」概念,而非「成對組合」概念,故被告及參加人前開所為答辯並不足採。
⑵參加人雖以:證據3之說明書第13欄第13至16行及圖2揭示
包括「缺陷圖像100(defect image)」及「無缺陷參考圖像110」的一對圖像,通過晶圓掃瞄器自測試光罩採集而送入訓練引擎130。第13欄第37至39行亦揭露對於每個缺陷,都會提供兩個圖像,即缺陷圖像和參考圖像。故證據3完全揭露請求項1要件lb之「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像」及1d之「該成對影像組合」技術特徵,又證據3揭露之「成對影像組合」係作為深度學習之輸入影像,與證據2並無差別,所屬技術領域中具有通常知識者可輕易將證據2、3之「成對影像組合」等效置換,且「neural network」係指代「用於存儲神經網路參數之記憶體」,而為「memory 140」的較佳實施型態,證據3已揭露「訓練引擎是神經網路、將分析結果儲存在記憶體中」云云。然查:
①如前揭㈣、⑵點所述,證據3僅揭示缺陷圖像和無缺陷參考
圖像,並未明確揭示缺陷圖像和無缺陷參考圖像為成對影像且具有對應關係,故證據3並未揭示系爭專利請求項1界定之「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(lb)」技術特徵,亦未揭示「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d)」技術特徵。
②又依證據3圖3(異議卷1第48頁背面)及相對應之文字說
明(第6欄最後1行至次欄第12行),中文翻譯為:「圖3展示了一個測試光罩/晶片基板300,其中包含了設計特徵和測試缺陷。例如,設計特徵310是一條90度彎曲的導體線,設計特徵320(未顯示)是不同大小的接觸孔,設計特徵330是各種厚度的孤立線,而設計特徵340是各種厚度的線條群組。同樣地,設計特徵350是各種光刻補償特徵。另一方面,測試缺陷315是缺失的圖案,測試缺陷325是多餘的圖案,測試缺陷335是破損的不同大小的接觸點,而測試缺陷345則可能是孤立的多餘圖案或模擬的異物,例如塵埃粒子或針孔」可知,證據3係揭示或描述設計特徵310、320、330、340、350和其他測試缺陷315、325、335、345等之本身形狀,並未明確揭示設計特徵和測試缺陷之間有任何成對之對應關係,即未揭露請求項1之「成對影像組合」。
③再者,證據2係一種基於深度卷積神經網路的指靜脈驗證
身份識別方法,透過卷積神經網路處理指靜脈圖像來判斷待驗證之指靜脈圖像相似度;證據3則係一種光罩檢測的方法,所揭示之訓練引擎,實際上執行功能僅為將檢查站分析的結果儲存在記憶體中,並非對每對圖像是否印刷了缺陷做檢查,無關神經網路,更非卷積神經網路架構(如前揭㈣、⑶點所述)。參以證據2並無記載或暗示可將證據3之缺陷圖像和無缺陷參考圖像當做證據2卷積神經網路系統之輸入,證據3亦無記載或暗示可將證據2之卷積神經網路系統取代證據3之訓練引擎,證據
2、3並未記載或實質隱含可結合另一證據之技術內容的教示或建議,所屬技術領域中具有通常知識者自無輕易將參加人所稱證據3之「成對影像組合」(即缺陷圖像和參考圖像)與證據2為等效置換之可能,故參加人前揭所述,尚不足採。
⑶被告另稱:證據3所述訓練神經網路,實際上是訓練引擎與
記憶體元件進行協同運作的結果,並指出證據3說明書第10欄第25至32行記載,認證據3所述神經網路應由訓練引擎執行訓練神經網路的演算法並結合記憶體用以儲存結果資料云云。惟查,此與原處分原先關於訓練引擎之認定不同(參原處分第9頁第C點第7至8行記載「另證據3之說明書第13欄第27至29行揭示訓練引擎最好是神經網路,其將分析結果儲存在記憶體140中」(本院卷一第45頁);況被告此次所提證據3第10欄揭示內容,僅為證據3關於其界定神經網路之特定實施例而能由該技術領域人員任意實施,未必與證據3說明書第13欄第27至29行及第36行起界定之神經網路相關。再由前揭㈣、⑶點關於訓練引擎之說明可知,證據3該部分揭示之神經網路係記憶體140,而非指該訓練引擎,證據3揭示之訓練引擎,實際上揭示之執行功能僅為將檢查站分析的結果儲存在記憶體中,非關對每對圖像是否印刷了缺陷做檢查,亦無關神經網路,更非卷積神經網路架構,即證據3所揭示訓練引擎之訓練,僅有字面上意義,而無揭示關於神經網路相關之功能,亦非關於卷積神經網路架構,故被告所辯仍不足採。
⒊系爭專利請求項2至8係請求項1之直接或間接附屬項、系爭專
利請求項9係引用請求項1至8任一項所述方法的自動光學檢測設備之引用記載形式請求項、系爭專利請求項10係請求項9之附屬項,及系爭專利請求項12、13係引用請求項1至8任一項所述方法的電腦程式、電腦可讀取之記錄媒體之引用記載形式請求項,以上請求項皆包含請求項1之全部技術特徵。由於證據2、3之結合既不足以證明系爭專利請求項1不具進步性,故證據2、3之結合自亦不足以證明系爭專利請求項2至10、12、13不具進步性。
(五)證據2、3、4之結合不足以證明系爭專利請求項1至13不具進步性:
⒈證據2、3之結合不足以證明系爭專利請求項1不具進步性之理
由,已如前述。又證據4雖揭示關於卷積神經網路之重新訓練過程可能涉及前向傳播和誤差反向傳播(參說明書0103段)、全連接層的權重可能會改進(參說明書0089段)。然因證據4仍未揭示系爭專利請求項1之「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(1b)」、「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d)」技術特徵,故證據2、3、4之結合仍不足以證明系爭專利請求項1不具進步性。
⒉系爭專利請求項2至13,如前所述,均係包含請求項1全部技
術特徵之附屬項或引用記載形式之請求項,因證據2、3、4之結合既不足以證明系爭專利請求項1不具進步性,是證據2、3、4之結合自亦不足以證明系爭專利請求項2至13不具進步性。
(六)證據2、3、5之結合或證據2、3、4、5之結合均不足以證明系爭專利請求項3、9、10、12、13不具進步性:
⒈證據2、3之結合不足以證明系爭專利請求項1不具進步性之理
由,已如前述。又證據5雖揭示關於運行時影像可以是樣品或其他樣品的光學影像(參說明書0110段)、其神經網路實現允許在訓練期間應用反向傳播(參說明書0085段)及可以通過最小化成本函數來確定神經網路中包含的任何層的權重和偏差(參說明書0079段)。惟證據5仍未揭示系爭專利請求項1之「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(1b)」、「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d)」技術特徵,故證據2、3、5之結合仍不足以證明系爭專利請求項1不具進步性。又證據2、3、4之結合不足以證明系爭專利請求項1不具進步性之理由,已如前述,故證據2、3、4、5之結合仍不足以證明系爭專利請求項1不具進步性。⒉系爭專利請求項3、9、10、12、13,均係包含請求項1全部技
術特徵之附屬項或引用記載形式之請求項。因證據2、3、5或證據2、3、4、5之結合既均不足以證明系爭專利請求項1不具進步性,故證據2、3、5或證據2、3、4、5之結合均亦不足以證明系爭專利請求項3、9、10、12、13不具進步性。
(七)證據2、3、6之結合或證據2、3、4、6之結合不足以證明系爭專利請求項7不具進步性:
⒈證據2、3之結合不足以證明系爭專利請求項1不具進步性之理
由,已如前述。又證據6雖揭示關於訓練進行了30個時期,每個時期都對網路進行驗證以跟踪學習性能(見說明書第8頁左邊欄位第14至16行),惟仍未揭示系爭專利請求項1之「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(1b)」、「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d)」技術特徵,故證據2、3、6之結合仍不足以證明系爭專利請求項1不具進步性。又證據2、3、4之結合不足以證明系爭專利請求項1不具進步性之理由,已如前述,故證據2、3、4、6之結合仍不足以證明系爭專利請求項1不具進步性。
⒉系爭專利請求項7係包含請求項1全部技術特徵之附屬項。因
證據2、3、6或證據2、3、4、6之結合既不足以證明系爭專利請求項1不具進步性,故證據2、3、6或證據2、3、4、6之結合自亦不足以證明系爭專利請求項7不具進步性。
(八)證據2、3、7之結合或證據2、3、4、7之結合不足以證明系爭專利請求項8、9、10、12、13不具進步性:
⒈證據2、3之結合不足以證明系爭專利請求項1不具進步性之理
由,已如前述。又證據7雖揭示關於卷積層、採用ReLU激活函數、最大池化法(說明書0025至0047段),惟證據7仍未揭示系爭專利請求項1之「提供成對影像組合,其中該成對影像組合包括至少一無瑕影像與至少一對應於該無瑕影像的瑕疵影像(1b)」、「將複數個該成對影像組合輸入至該卷積神經網路架構,並經由反向傳播演算法調整全連結層個別的權重,以完成訓練(1d)」技術特徵,故證據2、3、7之結合仍不足以證明系爭專利請求項1不具進步性。又證據2、3、4之結合不足以證明系爭專利請求項1不具進步性之理由,已如前述,故證據2、3、4、7之結合仍不足以證明系爭專利請求項1不具進步性。
⒉系爭專利請求項8、9、10、12、13係包含請求項1全部技術特
徵之附屬項或引用記載形式之請求項。因證據2、3、7或證據2、3、4、7之結合既不足以證明系爭專利請求項1不具進步性,故證據2、3、7或證據2、3、4、7之結合自亦不足以證明系爭專利請求項8、9、10、12、13不具進步性。
(九)證據2、3、4、7之結合不足以證明系爭專利請求項11不具進步性:
證據2、3、4、7之結合不足以證明系爭專利請求項1不具進步性之理由,已如前述。因系爭專利請求項11係包含請求項1全部技術特徵之引用記載形式請求項。又證據2、3、4、7之結合既不足以證明系爭專利請求項1不具進步性,故證據2、3、4、7之結合自亦不足以證明系爭專利請求項11不具進步性。
六、綜上所述,本件系爭專利請求項1至13並無核准時專利法第22條第2項不符發明專利要件之事由,被告就系爭專利所為「請求項1至13舉發成立,應予撤銷」之原處分,應有違誤,訴願決定予以維持,亦有未合。從而,原告訴請撤銷原處分關於「請求項1至13舉發成立」部分及訴願決定,為有理由,應予准許。
七、本件判決基礎已經明確,當事人其餘攻擊防禦方法及訴訟資料經本院斟酌後,核與判決結果不生影響,並無一一論述的必要。
八、結論:本件原告之訴為有理由,依智慧財產案件審理法第1條,行政訴訟法第98條第1項前段,判決如主文。
中 華 民 國 112 年 8 月 10 日
智慧財產第一庭
審判長法 官 蔡惠如
法 官 陳端宜法 官 吳俊龍以上正本證明與原本無異。
如不服本判決,應於送達後20日內,向本院提出上訴狀並表明上訴理由,其未表明上訴理由者,應於提起上訴後20日內向本院補提上訴理由書;如於本判決宣示後送達前提起上訴者,應於判決送達後20日內補提上訴理由書(均須按他造人數附繕本)。
上訴時應委任律師為訴訟代理人,並提出委任書(行政訴訟法第241條之1第1項前段),但符合下列情形者,得例外不委任律師為訴訟代理人(同條第1項但書、第2項)。
┌─────────┬────────────────┐│得不委任律師為訴訟│ 所 需 要 件 ││代理人之情形 │ │├─────────┼────────────────┤│㈠符合右列情形之一│1.上訴人或其法定代理人具備律師資││ 者,得不委任律師│ 格或為教育部審定合格之大學或獨││ 為訴訟代理人 │ 立學院公法學教授、副教授者。 ││ │2.稅務行政事件,上訴人或其法定代││ │ 理人具備會計師資格者。 ││ │3.專利行政事件,上訴人或其法定代││ │ 理人具備專利師資格或依法得為專││ │ 利代理人者。 │├─────────┼────────────────┤│㈡非律師具有右列情│1.上訴人之配偶、三親等內之血親、││ 形之一,經最高行│ 二親等內之姻親具備律師資格者。││ 政法院認為適當者│2.稅務行政事件,具備會計師資格者││ ,亦得為上訴審訴│ 。 ││ 訟代理人 │3.專利行政事件,具備專利師資格或││ │ 依法得為專利代理人者。 ││ │4.上訴人為公法人、中央或地方機關││ │ 、公法上之非法人團體時,其所屬││ │ 專任人員辦理法制、法務、訴願業││ │ 務或與訴訟事件相關業務者。 │├─────────┴────────────────┤│是否符合㈠、㈡之情形,而得為強制律師代理之例外,上訴││人應於提起上訴或委任時釋明之,並提出㈡所示關係之釋明││文書影本及委任書。 │└──────────────────────────┘中 華 民 國 112 年 8 月 21 日
書記官 蔣淑君附表:
系爭專利與引證 所在頁碼 備註 系爭專利公告本 舉發卷第72至57頁 西元2017年7月28日CN 106991368A號「一種基於深度卷積神經網路的指靜脈驗證身份識別方法」專利公開案 舉發卷第56至50頁 (證據2) 西元2006年7月18日US 7079235B2號「Reticle design inspection system」專利公告案 舉發卷第49至43頁 (證據3) 西元2016年12月8日US 2016/0358070A1號「Automatic tuning of artificial neural networks」專利公開案 舉發卷第42至31頁 (證據4) 西元2017年12月7日US 2017/0351952A1號「Systems and methods incorporating a neural network and a forwardphysical model for semiconductor applications」專利公開案 舉發卷第30至19頁 (證據5) 西元2017年6月13日公開之「 Classifying Radio Galaxies with the Convolutional Neural Network」論文 舉發卷第18至11頁 (證據6) 西元2017年6月13日CN 106845549A號「一種基於多任務學習的場景與目標識別的方法及裝置」專利公開案 舉發卷第10至1頁 (證據7)