วันอังคารที่ 4 สิงหาคม 2552 ได้รับแจ้งจากผู้ดูแลระบบเขตพื้นที่ลำปาง ว่า DNS ขัดข้อง ไม่สามารถใช้งานได้ ส่งผลให้ สมาชิกผู้ใช้บริการอินเตอร์เน็ตของเขตพื้นที่ลำปาง ไม่สามารถใช้งานได้ รวมไปถึงการเรียกใช้งานเว็บไซต์ของเขตพื้นที่ลำปางด้วย แต่การเรียกใช้งานจากภายนอก ยังคงใช้งานได้ตามปกติ จนกว่าจะถึงเวลา Expire ของ DNS เอง

ขณะนี้กำลังดำเนินการแก้ไขปัญหาที่เกิดขึ้น

เมื่อมีความคืบหน้า จะแจ้งให้ทราบต่อไป

ขณะนี้ ได้ดำเนินการแก้ไขเป็นที่เรียบร้อยแล้ว โดยใช้เครื่องแม่ข่าย (PC) เครื่องอื่นทดแทนชั่วคราว

วันจันทร์ที่ 3 สิงหาคม 2552 เวลา 13:40 น. เกิดเหตุไฟฟ้าดับบางเฟสที่เขตพื้นที่เชียงใหม่ (เจ็ดลิน) จึงทำให้สมาชิกบางส่วน ไม่สามารถใช้งานได้ แต่ระบบหลักรวมไปถึงเขตพื้นที่ยังสามารถใช้งานได้ตามปกติ

ปริมาณน้ำมันเชื้อเพลิงคงเหลือ 110 ลิตร

กระแสไฟฟ้ากลับสู่สภาวะปกติเมื่อเวลา 14:40 น.

รวมระยะเวลาไฟฟ้าดับ 1 ชั่วโมง 0 นาที

เมื่อวันศุกร์ ที่ 31 กรกฏาคม 2552 เวลา 15:55 น. อุปกรณ์ Wireless Controller ที่ควบคุม Access Point ทั้งหมดของ มทร.ล้านนา ภาคพายัพเชียงใหม่ (เจ็ดยอด เจ็ดลิน) ไม่สามารถใช้งานได้
ขณะกำลังดำเนินการแก้ไขปัญหาที่เกิดขึ้น และยังไม่ทราบสาเหตุที่แท้จริง

สาเหตุเกิดจาก มีเครื่องลูกข่ายบางเครื่อง ส่งข้อมูลที่เป็นลักษณะของ UDP Scan ผ่านตัวคอนโทรลเลอร์ จึงทำให้ ระบบป้องกัน (AQE) เข้าใจผิดว่าตัวคอนโทรลเลอร์ มีตัวส่งข้อมูลออกมา จึงกักกันคอนโทรลเลอร์ให้อยู่ใน AQE

ขณะนี้ได้ทำการแก้ไขโดยระบุตัวตนของคอนโทรลเลอร์ให้กับ AQE รู้จัก (ไม่ต้องแบน) จึงทำให้ระบบกลับมาใช้งานได้ตามปกติ

วันพฤหัสบดีที่ 30 กรกฏาคม 2552 เวลา 09:35 – 10:35 น. เกิดเหตุระบบเครือข่ายขัดข้องที่ node 2 เชียงใหม่ ส่งผลกระทบต่อสมาชิกที่เชื่อมต่อกับ node2 ทั้งหมด คือ แผนกเทคนิคคอมพิวเตอร์ แผนกไฟฟ้า แผนกอิเล็กทรอนิกส์ และอาคารศึกษาทั่วไป

รวมระยะเวลา 1 ชั่วโมง – นาที

จากการตรวจสอบพบว่า มีการส่งแพ็คเก็จจำนวนมากจากหมายเลขไอพี 10.2.4.119  (มาจากพอร์ต 1/22)จึงทำให้โหลดของ Switching ขึ้นสูง จนไม่สามารถใช้งานได้

การแก้ไขปัญหาเฉพาะหน้า ด้วยการปิดพอร์ต 1/22 ชั่วคราว เมื่อหาเครื่องต้นเหตุเจอแล้ว จะดำเนินการเชื่อมต่อให้ตามปกติ

ซึ่งจะทำให้ การใช้งานระบบเครือข่ายของ อาคารศึกษาทั่วไป ทั้งอาคาร ไม่สามารถใช้งานได้

ขณะนี้ได้ดำเนินการแก้ไขเป็นที่เรียบร้อยแล้ว สาเหตุมาจาก การเชื่อมต่อฮับ ทำให้เกิดลูปขึ้นในระบบเครือข่าย

รูปแบบแพ็คเก็จที่ถูกส่งมาจากเครื่องต้นเหตุ มีดังนี้

1 R 1/24 (001d60139ba7)->(ffffffffffff) ARP Request 10.2.4.119->10.2.4.254
1 S 1/24 00e0b1a31240->001d60139ba7 ARP Reply 10.2.4.254->10.2.4.119
1 R 1/24 (001d60139ba7)->(ffffffffffff) ARP Request 10.2.4.119->10.2.4.254
1 S 1/24 00e0b1a31240->001d60139ba7 ARP Reply 10.2.4.254->10.2.4.119
1 R 1/24 (001d60139ba7)->(ffffffffffff) ARP Request 10.2.4.119->10.2.4.254
1 S 1/24 00e0b1a31240->001d60139ba7 ARP Reply 10.2.4.254->10.2.4.119
1 R 1/24 (001d60139ba7)->(ffffffffffff) ARP Request 10.2.4.119->10.2.4.254
1 S 1/24 00e0b1a31240->001d60139ba7 ARP Reply 10.2.4.254->10.2.4.119
1 R 1/24 (001d60139ba7)->(ffffffffffff) ARP Request 10.2.4.119->10.2.4.254
1 S 1/24 00e0b1a31240->001d60139ba7 ARP Reply 10.2.4.254->10.2.4.119
1 R 1/24 (001d60139ba7)->(ffffffffffff) ARP Request 10.2.4.119->10.2.4.254
1 S 1/24 00e0b1a31240->001d60139ba7 ARP Reply 10.2.4.254->10.2.4.119

ได้รับแจ้งจากผู้ดูแลระบบเขตพื้นที่ลำปางว่า อุปกรณ์ Firewall ชำรุด ขณะนี้กำลังเร่งดำเนินการซ่อมแซม / อัพเฟิร์มแวร์เข้าไปใหม่ หากยังไม่สามารถใช้งานได้ อาจจะต้องใช้เครื่องคอมพิวเตอร์แม่ข่ายปรับแต่งค่าเพื่อใช้งานแทน Firewall ไปชั่วคราว รวมไปถึงการปรับแต่ง Routing ให้มีความเหมาะสมกับระบบใหม่

ซึ่งจะดำเนินการปรับปรุงในวันจันทร์ที่ 27 กรกฏาคม 2552 นี้

ความเสียหายของอุปกรณ์ Firewall ในครั้งนี้ ส่งผลเฉพาะเขตพื้นที่ลำปางเท่านั้น ไม่ส่งผลกับสถาบันวิจัยเกษตรลำปาง

ขณะนี้ได้ทำการแก้ไข โดยใช้เครื่องคอมพิวเตอร์แม่ข่ายติดตั้งระบบปฏิบัติการลีนุกซ์ เพื่อใช้งาน Firewall ชั่วคราว ซึ่งไม่สามารถทดแทนการใช้งานทั้งหมดได้ จึงสมควรจัดซื้อ Firewall มาทดแทนอย่างเร่งด่วน

วันพฤหัสบดีที่ 23 กรกฏาคม 2552 เวลา 17.30 น. ที่อิเล็กทรอนิกส์ (Node2 เชียงใหม่) มีการแจ้งจากสมาชิกผู้ใช้บริการว่า มีการบรอดแคสและการส่งแพ็คเก็จจำนวนมาก มาสู่เครื่องคอมพิวเตอร์ลูกข่ายของสมาชิก ซึ่งสามารถจับแพ็คเก็จจาก Ethereal พบว่ามีการส่งข้อมูลผ่านพอร์ต 139 และ 445 จากไอพีที่หลากหลาย ทางทีมงานจึงได้ตรวจสอบกับ Switching ที่ Node2 พบว่าการแจ้งเตือนการชนของไอพี gate way ดังนี้

THU JUL 23 15:26:43  Data: 1/0 duplicate IP address 10.2.3.x from port 1/4 eth addr xxxxxx:xxxxxx

นอกจากการชนของ Gateway แล้ว ยังทำให้ Switching Over Load รีสตาร์ทบ่อยครับ ทำให้สมาชิกที่เชื่อมต่อกับ node2 นั้น ไม่สามารถใช้งานได้ชั่วคราว และใช้งานได้ช้าในบางครั้ง

ซึ่งอาการนี้คล้ายคลึงกับเหตุการณ์ที่เกิดขึ้นกับบริหารธุรกิจ โดยสาเหตุเกิดจากไวรัสชนิดหนึ่ง

แต่ขณะนี้ยังหาเครื่องต้นเหตุไม่เจอ

วันที่ 22 กรกฏาคม 2552 เวลา 10.35 น. วงจรสื่อสารของ TOT ที่เชื่อมโยงไปหาที่เขตพื้นที่ลำปางและสถาบันวิจัยเกษตรลำปาง เกิดเหตุขัดข้องไม่สามารถเชื่อมต่อทางระบบเครือข่ายอิเตอร์เน็ตได้ ซึ่งได้แจ้งไปยัง TOT แล้ว

ซึ่งส่งผลกระทบโดยตรงกับการเรียกใช้งานระบบเครือข่ายของแต่ละเขตพื้นที่ลำปางและสถาบันวิจัยเกษตรลำปาง ไม่สามารถติดต่อสื่อสารระหว่างเขตพื้นที่รวมไปถึง การใช้บริการอินเตอร์เน็ตใด ๆ ได้เลย

ขณะนี้กำลังรอการแก้ไขปัญหาจาก TOT และสาเหตุที่เกิดขึ้นอีกครั้งในภายหลัง

จนถึงเวลา 16.00 น. ระบบกลับเข้าสู่สภาวะปกติ

รวมระยะเวลา 5  ชั่วโมง 25 นาที

สาเหตุยังไม่ทราบแน่ชัด

สาเหตุเกิดจาก interface ของอุปกรณ์เครือข่ายที่ tot ลำปางขัดข้อง เมื่อทำการรีเฟรช interface แล้ว จึงใช้งานได้ตามปกติ

วันพฤหัสบดีที่ 16 กรกฎาคม 2552 เวลา 11.50 น. วงจรสื่อสารของ TOT ที่เชื่อมโยงไปหาเขตพื้นที่ (ทุกเขต) รวมไปถึงวงจรอินเตอร์เน็ตขนาด 100/10 Mbps เกิดขัดข้องอย่างกระทันหัน ทำให้ไม่สามารถใช้งานอินเตอร์เน็ตฝั่งของ TOT (CSLOXINFO) ในเวลาดังกล่าวได้

ซึ่งส่งผลกระทบโดยตรงกับการเรียกใช้งานระบบเครือข่ายของแต่ละเขตพื้นที่ โดยที่ระยะเวลาดังกล่าวจะไม่สามารถติดต่อสื่อสารระหว่างเขตพื้นที่รวมไปถึงการใช้บริการอินเตอร์เน็ตใด ๆ ได้เลย

จนถึงเวลา 13.55 น. ระดับจึงกลับสู่สภาวะปกติ

รวมระยะเวลา 2 ชั่วโมง 5 นาที

ขณะนี้ยังรอการยืนยันสาเหตุที่แท้จริงของความขัดข้องดังกล่าว

** หมายเหตุ ตอนนี้ยังเจอปัญหาที่เขตพื้นที่น่าน

สาเหตุที่เกิดขึ้นคือ TOT มีการย้าย IP Backbone เพื่อปรับเปลี่ยนการเชื่อมต่อใหม่ จึงทำให้การใช้งานขัดข้องดังกล่าว  (ไม่มีการแจ้งล่วงหน้า)

วันพฤหัสบดีที่ 16 กรกฎาคม 2552 เวลา 08.50 น. เกิดเหตุไฟฟ้าดับที่สถาบันวิจัยเกษตรลำปาง  จึงทำให้ไม่สามารถใช้งานระบบเครือข่ายและติดต่อสื่อสารไปยังสถาบันวิจัยเกษตรลำปางได้ จนถึงเวลา 09.05 น. กระแสไฟฟ้ากลับเข้าสู่สภาวะปกติ และได้ทำการตรวจสอบการใช้งานระบบเครือข่ายเรียบร้อยแล้ว ไม่พบปัญหาการใช้งานจากเหตุการณ์ดังกล่าว

รวมระยะเวลา – ชั่วโมง 15 นาที

วันจันทร์ที่ 13 กรกฎาคม 2552 เวลา 07:35 น. เกิดเหตุไฟฟ้าดับที่เขตพื้นที่ลำปาง  จึงทำให้ไม่สามารถใช้งานระบบเครือข่ายและติดต่อสื่อสารไปยังเขตพื้นที่ลำปาง และสถาบันวิจัยเกษตรลำปางได้ จนถึเวลา 11.50 น. กระแสไฟฟ้ากลับเข้าสู่สภาวะปกติ

รวมระยะเวลา 4 ชั่วโมง 15 นาที

จากเหตุการณ์ดังกล่าว พบว่า มีอุปกรณ์ชุดรุด 1 ตัวคือ SMC Switching ขณะนี้ยังไม่ทราบแน่ชัดว่าเกิดจากตัวอุปกรณ์หรือเกิดจาก โมดูลไฟเบอร์ออฟติค ซึ่งจะดำเนินการตรวจสอบในวันรุ่งขึ้น อุปกรณ์ SMC Switching เมื่อปิดแล้วเปิดใหม่สามารถใช้งานได้ตามปกติ

วันเสาร์ที่ 4 กรกฎาคม 2552 เวลา 17.45 น. ไฟฟ้า(น่าจะ)ขัดข้องที่ node 1 เชียงใหม่ ทำให้ระบบเครือข่ายขัดข้อง และเนื่องจากเป็นวันหยุดยาว จึงไม่สามารถดำเนินการเปิดใช้/ตรวจสอบสาเหตุที่แท้จริงได้

แผนก/ตึก/อาคาร ที่ได้รับผลกระทบจากเหตุการณ์ดังกล่วคือ

อาคารอำนวยการ,โรงอาหาร,อาคารบริหารธุรกิจ (ทั้งหมด),โรงหล่อ,เทคนิคอุตสาหกรรม,วิศวอุตสาหกรรม,อาคารแม่พิมพ์

จากการตรวจสอบพบว่า สาเหตุเกิดจาก เครื่องสำรองไฟฟ้าขัดข้อง เมื่อเปิดทิ้งไว้นาน ๆ ความร้อนจะขึ้นสูง และจะปิดตัวเองอัตโนมัติ ขณะนี้ได้ทำการแก้ไขโดยต่อระบบไฟฟ้าตรงกับอุปกรณ์ Surge Protect เท่านั้น

ช่วง 2 สัปดาห์ที่ผ่านมา ที่บริหารธุรกิจ (Node1 เชียงใหม่) มีการแจ้งจากสมาชิกผู้ใช้บริการว่า ใช้งานระบบเครือข่ายไม่ได้ หรือมีอาการติด ๆ ดับ ๆ อยู่ตลอดเวลา จากการตรวจสอบพบว่า ที่ Switching มี log บอกว่า

THU JUL 02 08:46:43 IP(15) Data: 1/0 duplicate IP address 10.1.4.x from port 1/16 eth addr 001c25:3e4c90

และมีพฤติกรรมสม่ำเสมอ คือจะเกิดขึ้นทุก ๆ 30 วินาที จึงได้ตรวจสอบย้อนกลับถึงการร้องขอไอพีแอดเดรสของเครื่องลูกข่าย พบว่า มีการสร้างไอพีแอดเดรส ที่เป็นลักษณะการเรียงตามลำดับ เช่น

10.1.4.100 จนถึง gateway จาก mac address เพียงชุดเดียว (และมีการเปลี่ยน mac เอง เมื่อมีการปิดกั้นจากส่วนกลาง) จึงเป็นสาเหตุการเกิด Duplicate gateway และเมื่อไอพีรันมาจนถึงไอพี gateway แล้ว จะทำให้ระบบดาวน์ชั่วขณะ ทำให้ลูกข่ายในซับเน็ตนี้ใช้งานไม่ได้ นอกจากนั้น เมื่อไอพีรันไปชนกับไอพีของเครื่องลูกข่ายด้วยกัน จะทำให้เครื่องนั้น ใช้งานไม่ได้ด้วย

จากการตรวจสอบอย่างละเอียด พบว่า ต้นเหตุเกิดจากเครื่องลูกข่ายเพียงเครื่องเดียว ที่มีไวรัสจำนวนมาก (หลากหลายสายพันธ์) จึงได้ปิดการเชื่อมต่อเครือข่ายของเครื่องลูกข่ายดังกล่าว จึงทำให้การใช้งานกลับมาเป็นปกติ