問題描述

ASON網絡中有一OSN3500主控板某日突然不斷復位，網元進入安狀態

告警信息

NESTATE_INSTALL

處理過程

1.查詢網管操作日志，無異常操作
2.查詢全網異常事件，發現在網元進入安狀態的頭兩天內，網元上報過“TE鏈路更改”、“數據庫修改”的事件
3.判斷網元主控板為早期的SSN1GSCC主控板采用的是外購內存，品質不夠穩定，加之單板CPU時序比較緊，導致網元正常運行時頻繁出現內存跳變，小概率出現數據庫被異常修改的情況，如果單板軟復位，由于校驗到MFS和OFS中的數據庫均不完整而主動進入安裝態。
4.采集備份一些必要的數據，如最新的MO、網元IP、網元NEID、網元NODEID等
5.更換故障網元主控板
1）先將故障網元的兩塊主控板都拔出，然后插入一塊新主控板。
2）設置新主控板的IP地址
3）設置網元NEID
4）設置網元NODEID
6.降級故障網元相關智能業務
1）進入"智能電路管理"視圖，過濾出以故障節點為宿節點的所有業務
2）依次選中一條業務，記錄下業務的路徑信息（方便降級后查找到該條路徑）和業務保護級別（降級后再升級時，業務保護級別要和降級前一致）。依次選中一條業務，選擇其經過的一個節點（除了265都可以），進入該網元的"網元管理器-〉智能-〉高級維護-〉智能信令維護"，選擇"查詢經過本節點的智能電路"。然后選中一條業務，右鍵點擊，選擇"降級智能信令"
7.從網管下載配置信息
1）進入故障網元的"網元管理器-〉配置-〉網元屬性"界面，點擊"查詢"。操作成功后，該界面上的"智能特性使能"選項應該沒有了
2）從網管下發配置前，要將網管的配置下發模式改成"非中斷模式"
  操作方法如下：在網管T2000的 /server/目錄下找到"ems.cfg"文件，將其中的"IsInterruptMode"字段的值修改為"0"，如：
IsInterruptMode = 0
  然后重啟網管服務器。
3）進入"配置-〉配置數據管理"，選擇故障網元，點擊"下載"
8.開啟智能特性。
在navigator 上開啟該網元的智能特性。
:cfg-set-itgattrib:enable
9.升級之前降級的智能隧道
1）在網管上執行"路徑搜索"；
2）根據之前保存的路徑信息，將降級的業務升級成智能隧道（注意：要升級后的業務保護級別要和降級前一致）
10.插入新的備用主控板，主備主控板同步后就可以了

根因

1.網管誤操作
2.主控板故障（早期的SSN1GSCC主控板采用的是外購內存，品質不夠穩定，加之單板CPU時序比較緊，導致網元正常運行時頻繁出現內存跳變，小概率出現數據庫被異常修改的情況，如果單板軟復位，由于校驗到MFS和OFS中的數據庫均不完整而主動進入安裝態）

建議與總結

早期的SSN1GSCC主控板采用的是外購內存，品質不夠穩定，加之單板CPU時序比較緊，導致網元正常運行時頻繁出現內存跳變，小概率出現數據庫被異常修改的情況，如果單板軟復位，由于校驗到MFS和OFS中的數據庫均不完整而主動進入安裝態，如果ASON網絡上OSN3500出現了網元進入安狀態的情況后要盡早處理。