TriCrawl
다크웹 유출 정보와 포럼 게시물을 수집하고
필터링, 알림, 시각화까지 묶은 OSINT 모니터링 파이프라인입니다.
다크웹 수집 모니터링 파이프라인
- 다크웹의 랜섬웨어 유출 사이트와 포럼을 대상으로 새 게시물을 수집하고 추적하는 OSINT 파이프라인입니다.
- Tor를 통해 수집하고, 키워드로 위험도를 나누고, 필요한 항목은 Discord 알림으로 바로 보내도록 구성했습니다.
- 수집 데이터를 Supabase에 쌓고 대시보드에서 추이를 보게 해 수집부터 시각화까지 한 흐름으로 묶었습니다.
- 짧은 팀 프로젝트 안에서도 코어와 확장 파트를 나눠 다른 사람이 스파이더를 붙일 수 있게 구조를 잡았습니다.
OSINTDarkWebTorSupabaseDiscord
조직/서비스 관점의 확장 방향
- 브랜드명, 공급망 키워드, 계열사 이름을 기준으로 외부 위협 언급을 추적하는 CTI 수집 화면
- 다크웹, 랜섬웨어 블로그, 포럼 모니터링을 한곳에서 보는 보안 인텔리전스 대시보드
- 수집 결과를 메신저 알림이나 분석가 검토 흐름으로 넘기는 경량 보안 운영 도구
개선 계획
- 스파이더별 셀렉터 깨짐과 수집 실패를 더 빨리 파악할 수 있게 상태 점검 흐름을 보강할 예정입니다.
- IOC, 연락처, 키워드 묶음을 더 구조화해 분석가가 바로 볼 수 있는 요약 형태로 다듬을 계획입니다.
- 알림 기준과 대시보드 구성을 손봐 실제 운영에서 노이즈를 덜 받도록 조정할 생각입니다.
업데이트 이력
2026-02-02
- Monitoring Mode를 추가해 자동 스케줄링과 수집 상태를 한 화면에서 확인할 수 있게 했습니다.
2026-01-31
- Control Tower 패턴과 Docker 기반 제어 흐름을 붙여 크롤러, 프록시, 대시보드 운영 구조를 정리했습니다.
2026-01-30
- 스파이더 로직을 정규화하고 사전 중복 제거, 연락처 추출, 로깅 개선으로 수집 품질과 관측성을 손봤습니다.
2026-01-27
- 저장소를 로컬 파일에서 Supabase로 옮기고 JSONL, CSV 내보내기와 알림 토글 기능을 추가했습니다.
2026-01-21
- Tor 프록시, 키워드 필터, Discord 알림, Scrapy 스파이더를 묶은 TriCrawl 초기 스캐폴딩을 시작했습니다.