SECOM 반도체 공정 센서 데이터

이 데이터는

실제 반도체 생산 라인에서 런 하나마다 590개 센서 값을 기록하고 그 런이 최종 검사에서 통과했는지(pass) 떨어졌는지(fail)를 붙여 놓은 데이터입니다. 센서가 590개나 되지만 대부분은 결과와 무관한 잡음이라 어떤 센서가 실제로 수율을 좌우하는지 골라내는 특징 선택(feature selection) 문제의 교과서로 쓰입니다.

불량이 전체의 6.6%뿐이라 클래스 불균형도 함께 다뤄야 합니다. 전부 정상이라고 찍어도 정확도 93%가 나오기 때문에, 정확도만 보면 아무것도 못 배운 모델을 좋은 모델로 착각하게 됩니다.

구성

sensor_001 … sensor_590

런 하나에서 읽은 센서 값. 결측치는 빈 칸.

pass_fail

0 = 정상, 1 = 불량. 원본의 -1/1 을 0/1 로 바꿨습니다.

timestamp

그 런을 기록한 시각 (2008년 7~10월).

파일 받기

• secom.csv5.1 MB센서 590개 + pass_fail + timestamp. 수업용으로 합치고 열 이름을 붙인 파일.내려받기 ↓
• secom-sample.csv370 KB센서 30개만 남긴 가벼운 버전. 브라우저 노트북에서 먼저 훑어볼 때.내려받기 ↓
• secom.names4 KBUCI 원본 설명 파일 (원문 그대로).내려받기 ↓
• README.txt1 KB출처·라이선스와 우리가 손댄 부분 기록.내려받기 ↓

노트북에서 바로 쓰기

아래 코드를 붙여 넣으면 SECOM 반도체 공정 센서 데이터을 내려받지 않고 바로 불러옵니다. SemiLab 노트북에서는 상단 「데이터」 버튼으로 같은 셀을 넣을 수도 있습니다.

import pandas as pd

df = pd.read_csv("datasets/secom.csv")

print(df.shape)
df.head()

파일 주소: /dataset-files/secom/secom.csv

해볼 만한 것

• 결측치가 절반 넘는 센서를 걸러내고 몇 개가 남는지 세어보기
• 센서별로 정상/불량 분포를 갈라 t검정·상관으로 후보 추리기
• 정확도 대신 재현율·F1·PR-AUC 로 평가해 「전부 정상」 모델과 비교하기
• 랜덤 포레스트 특징 중요도와 통계적 선택 결과가 겹치는지 확인하기

이 데이터로 해볼 프로젝트

• 입문

  590개 센서 중 쓸모 있는 것 골라내기

  1~2시간

  센서 590개 가운데 결측이 심하거나 값이 늘 똑같은 것을 걸러내고 실제로 남는 센서가 몇 개인지 세어 본다.

  1. CSV를 불러와 shape과 pass_fail 비율을 먼저 확인한다
  2. 센서별 결측 비율을 구해 히스토그램으로 그린다
  3. 결측 50% 이상 / 표준편차 0인 센서를 목록으로 뽑는다
  4. 남은 센서 수를 세고 왜 그렇게 줄었는지 한 문단으로 적는다

  완료 기준 「590개 중 N개가 남았고 이유는 이렇다」를 숫자와 그래프로 말할 수 있으면 완료.

  pandasmatplotlib

• 중급

  정확도 93%짜리 아무것도 안 하는 모델 이기기

  2~3시간

  전부 정상이라고 찍는 모델이 정확도 93.4%를 낸다는 걸 직접 확인하고 그보다 실제로 쓸모 있는 모델을 만든다.

  1. DummyClassifier(strategy='most_frequent')로 기준선을 만들고 정확도를 잰다
  2. 같은 모델의 재현율·정밀도·F1을 재서 왜 쓸모없는지 보인다
  3. 로지스틱 회귀와 랜덤 포레스트를 학습하고 같은 지표로 비교한다
  4. class_weight='balanced' 를 켜고 끄며 재현율이 어떻게 달라지는지 기록한다
  5. PR 곡선을 그려 임계값을 어디에 둘지 결정한다

  완료 기준 「정확도는 떨어졌지만 불량을 N배 더 잡는다」를 표로 보여주고 그 교환이 왜 타당한지 설명할 수 있으면 완료.

  scikit-learnpandasmatplotlib

• 심화

  놓친 불량의 «값»을 계산해 임계값 정하기

  3~4시간

  불량을 놓쳤을 때(FN)와 정상을 불량이라 했을 때(FP)의 비용을 다르게 두고 총비용이 가장 낮은 임계값을 찾는다.

  1. FN 비용과 FP 비용을 가정해 적는다 (예: 불량 유출 100, 헛검사 1)
  2. 임계값을 0.01~0.99로 훑으며 혼동행렬을 구한다
  3. 임계값별 총비용 곡선을 그려 최소점을 찾는다
  4. 비용 비율을 바꿔가며 최적 임계값이 어떻게 움직이는지 본다
  5. 현장에 제안한다면 어떤 임계값을 쓸지, 근거와 함께 한 장으로 정리한다

  완료 기준 비용 가정이 바뀌면 답도 바뀐다는 걸 곡선으로 보여줄 수 있으면 완료.

  scikit-learn

함께 볼 오픈소스 도구

• wafermap-viewerMIT브라우저에서 여는 웨이퍼 맵 뷰어. HTML 파일 하나라 설치도 업로드도 없이 바로 씁니다.
• Wafers Defect Recognition (ViT)MIT혼합형 웨이퍼 결함(MixedWM38)을 비전 트랜스포머로 분류하는 예제 코드.
• WaferDetectApache-2.0웨이퍼 맵 결함을 분할하고 근본 원인·수율 손실까지 계산하는 오픈소스 플랫폼.

공정과의 연결