01-overview.md

InfoMesh — 프로젝트 개요

완전 탈중앙화 P2P 네트워크로 전 세계 웹을 크롤링·인덱싱·검색하고, MCP 프로토콜을 통해 LLM에게 실시간 정보를 제공하는 오픈소스 프로젝트

---

1. 배경 및 동기

문제

현재 솔루션	한계
유료 검색 API	요청당 과금, 남의 검색 엔진 래핑
상용 검색 API	유료, API 제한, 사람용 UI에 최적화
직접 크롤링	서버 비용, 단일 장애점, 유지보수 부담

미션: LLM을 위한 검색 민주화

InfoMesh는 기존 상용 검색 사업자와 경쟁하지 않습니다. 이 기업들은 수십 년에 걸쳐 세계 최고 수준의 검색 인프라를 구축했습니다 — 웹 스케일 크롤링, 정교한 랭킹, 지식 그래프, 광고 플랫폼, 수십억 사용자를 위한 풍부한 UI. InfoMesh는 이 중 어느 것도 복제하거나 방해할 의도가 없습니다.

대신 InfoMesh는 근본적으로 다른 목표를 추구합니다:

LLM에게 필요한 최소한의 충분한 검색 기능을 MCP를 통해 무료로 제공하여, 누구나 쿼리당 비용 없이 AI 어시스턴트에게 실시간 웹 접근 능력을 부여하는 것.

측면	상용 검색 엔진	InfoMesh
대상 사용자	사람 (브라우저)	LLM (MCP 프로토콜)
비즈니스 모델	광고, API 과금	없음 — 무료, 오픈소스
검색 품질	세계 최고 수준	LLM 컨텍스트에 충분한 수준
규모	수십억 페이지	적정 규모 — 커뮤니티 기여
관계	해당 없음	경쟁이 아닌 보완

상용 검색 엔진들은 사람 검색을 대규모로 해결하고 광고로 수익을 창출합니다. InfoMesh는 LLM 검색을 최소 수준으로 해결하며 수익을 추구하지 않습니다 — 커뮤니티가 운영하는 공공 유틸리티입니다. 두 프로젝트는 완전히 다른 사용자를 완전히 다른 경제 구조로 섬깁니다.

인사이트

LLM 시대에 검색의 패러다임이 바뀌었다:

  기존:  사람 → 검색엔진 → 10개 파란 링크 + 이미지 + 광고 + UI → 직접 판단
  지금:  LLM → 텍스트 API → 순수 텍스트 결과 → LLM이 즉시 이해/종합

대형 검색 엔진이 20년 걸려 만든 것의 70%는 "사람을 위한 UI/UX/광고"
LLM에게는 나머지 30%(크롤링+인덱싱+텍스트 반환)만 가치가 있다.
→ 진입장벽이 극적으로 낮아짐

차별점: 기존 P2P 검색 vs InfoMesh

	Y*** (2004)	InfoMesh
소비자	사람 (브라우저)	LLM (MCP)
UI	웹 검색 페이지 필수	불필요
랭킹 품질	치명적 약점	LLM이 보완
설치	Java + 복잡한 설정	uv run infomesh start 한 줄
참여 동기	이념적 (프라이버시)	실용적 (무료 검색 MCP)
데이터 부트스트랩	처음부터 크롤링	Common Crawl 활용
콘텐츠 무결성	없음	암호화 증명 + 랜덤 감사

---

2. 비전

uv run infomesh start

이 한 줄이면:

1. P2P 네트워크에 참여
2. 자동으로 웹 크롤링 시작 (기여)
3. 로컬 + 네트워크 인덱스 검색 가능
4. MCP 서버 자동 실행 → Copilot/Claude에서 즉시 사용

---

3. 핵심 원칙

원칙	설명
완전 탈중앙화	중앙 서버 없음. 모든 노드 = Hub + Node
LLM 퍼스트	사람용 UI 없음. 텍스트 API에 집중
기여 = 보상	크롤링에 기여할수록 검색 쿼터 증가 (협력적 상호호혜 모델)
오프라인 가능	인터넷 없어도 로컬 인덱스 검색 가능
프라이버시	검색 쿼리가 중앙에 기록되지 않음

---

4. 경쟁 비교

	SaaS 검색 API A	SaaS 검색 API B	상용 검색 API	InfoMesh
비용	요청당 과금	요청당 과금	요청당 과금	무료
데이터	남의 API 래핑	자체+서드파티	자체	자체 P2P
프라이버시	쿼리 외부 전송	쿼리 외부 전송	쿼리 외부 전송	로컬 처리
단일장애점	있음	있음	있음	없음
오프라인	불가	불가	불가	가능
커스터마이징	제한적	제한적	제한적	완전 자유
확장성	의존	의존	의존	참여자 비례
신뢰/무결성	불투명	불투명	불투명	암호화 증명, 감사 가능
압축	해당없음	해당없음	해당없음	zstd (레벨 조절 가능)

---

5. VS Code MCP 설정 (사용자용)

설치 후 .vscode/settings.json에 추가:

{
  "mcp": {
    "servers": {
      "infomesh": {
        "command": "infomesh",
        "args": ["mcp"],
        "env": {}
      }
    }
  }
}

Copilot Chat에서 바로 사용:

"rust의 최신 async 패턴에 대해 검색해줘"
→ InfoMesh MCP가 P2P 네트워크에서 실시간 검색
→ 결과를 Copilot이 요약

---

6. 알려진 과제 & 완화 전략

과제	위험도	완화 전략
닭과 달걀 문제	높음	Common Crawl 부트스트랩 + 내장 시드 팩 → 1개 노드에서도 즉시 유용
py-libp2p 성숙도	중간	Phase 0에서 스파이크 테스트; PyO3를 통한 rust-libp2p 또는 커스텀 Kademlia 대안
시빌 공격	높음	PoW 노드 ID + IP 서브넷 제한 + 점진적 신뢰 (신뢰 & 무결성 참조)
DHT 오염	중간	서명된 발행 + 속도 제한 + 콘텐츠 해시 검증
크레딧 파밍	중간	신규 노드 수습 기간 + 통계적 이상 탐지 + 원시 해시 감사
SPA/JS 사이트	낮음	MVP에서는 정적 HTML 집중; Phase 4에서 Playwright 위임
법적 준수	중간	robots.txt 엄격 준수 + ToS 자동 감지 + DMCA 전파 (법적 고려사항 참조)
노드 부족 시 검색 품질	높음	로컬 인덱스가 즉각적 가치 제공; 네트워크 성장에 따라 품질 향상

InfoMesh는 단일 노드만으로도 유용하도록 설계되었습니다 (로컬 크롤링 + MCP 검색). 네트워크 참여는 가치를 증폭하지만 기본 기능에 필수는 아닙니다.

---

7. 개발 현황

모든 핵심 개발 단계가 완료되었습니다:

단계	초점	상태
0	MVP — 단일 노드 로컬 크롤링 + 인덱스 + MCP + CLI	✅ 완료
1	인덱스 공유 — 스냅샷, Common Crawl, 벡터 검색, SimHash	✅ 완료
2	P2P 네트워크 — libp2p, DHT, 분산 크롤링 & 인덱스, 시빌/이클립스 방어	✅ 완료
3	품질 + 인센티브 — 랭킹, 크레딧, 신뢰, 증명, 감사, LLM	✅ 완료
4	프로덕션 — 링크 그래프, LLM 리랭킹, 어트리뷰션, 법적 컴플라이언스	✅ 완료
5A	핵심 안정성 — 리소스 거버너, 자동 재크롤링, 쿼리 캐시, 로드 가드	✅ 완료
5B	검색 품질 — 지연시간 인식 라우팅, Merkle Tree 무결성	✅ 완료
5C	릴리스 준비 — Docker, 키 교체, mDNS, LICENSE, CONTRIBUTING	✅ 완료
5D	폴리시 — LLM 평판, 시간대 검증, 대시보드, PyPI 준비	✅ 완료
6	검색 인텔리전스, RAG, 보안, 관측성, SDK, 통합, DX	✅ 완료

v0.2.0 주요 하이라이트

최신 릴리스에서 100개 이상의 기능이 추가되었습니다:

• 검색 인텔리전스 — NLP 쿼리 처리 (9개 언어), 맞춤법 교정, 패싯, 클러스터링, 스니펫 하이라이팅
• RAG & 답변 추출 — 청크 RAG 출력, 직접 답변 추출, 팩트 체크, 엔티티 추출
• 크롤러 강화 — PDF 추출, RSS/Atom 피드, 구조화 데이터 (JSON-LD, OpenGraph), 언어 감지, 콘텐츠 비교
• 보안 & API — API 키 관리, 역할 기반 접근 제어, 감사 로깅, 웹훅 서명, Prometheus 메트릭
• 개발자 경험 — Python SDK, 플러그인 시스템, LangChain/LlamaIndex/Haystack 통합
• 배포 — Helm 차트, Docker Compose, systemd 서비스, Terraform 모듈
• 5개 통합 MCP 도구 — web_search, fetch_page, crawl_url, fact_check, status (레거시 이름도 계속 지원)

전체 변경 사항은 CHANGELOG를 참조하세요.

향후 작업

다음 항목은 외부 인프라 또는 주요 의존성이 필요하여 향후 릴리스에서 계획:

• 공개 부트스트랩 노드 — 쉬운 온보딩을 위한 자원봉사 시드 노드
• SPA/JS 렌더링 — JavaScript 기반 사이트를 위한 Playwright 위임
• 다국어 스테밍 — 언어별 토큰화 및 스테밍
• 웹 대시보드 — TUI와 함께 선택적 브라우저 UI
• 시맨틱 검색 융합 — BM25 + 벡터 하이브리드 랭킹 (RRF)

---

관련 문서: 아키텍처 · 크레딧 시스템 · 기술 스택 · 법적 고려사항 · 신뢰 & 무결성 · 보안 감사 · 콘솔 대시보드 · MCP 연동 · 배포 · FAQ