웹 수집과 구조화 추출에 쓸 수 있는 도구를 정리하고, robots 지시문 처리, 봇 차단 대응, AI 크롤러 권한 구분, 데이터 활용의 법적 경계까지 함께 다룹니다.
browser-use는 최근 2년 사이 가장 화제가 된 브라우저 에이전트 라이브러리 중 하나입니다. 한 문장으로 작업을 맡기면 스스로 브라우저를 열고, 페이지를 읽고, 버튼을 누르고, 양식을 채워 결과를 돌려줍니다. 자동화의 종점처럼 들리지만, 실제로 써 보면 단계마다...
Firecrawl이 쓸 만한지는 어떤 번거로움을 덜어 주는지로 갈립니다. 이것은 '웹 수집'을 대규모 모델에 먹이기 위해 만든 서비스입니다. URL을 주면 내비게이션, 광고, 잡음을 걷어 낸 깨끗한 Markdown이나 구조화 JSON을 돌려줘서, 헤드리스 브라우저와 프...
Meta는 2026년 10월 17일 아직 시행되지 않은 새 상업 약관을 다시 수정했고, AI 스크레이핑의 문을 연다는 지적을 받은 핵심 문장이 약관 페이지에서 사라졌습니다. The Verge는 이날, Meta가 연결된 도메인, 웹페이지, URL에서 얻은 모든 콘텐츠를 ...
DeepSeek의 Search API와 Fetch API가 2026년 10월 17일 정식 출시됐고, DeepSeek은 공식 API 문서를 통해 자사 앱 뒤에서 돌아가는 검색 엔진을 모든 개발자에게 열었습니다. 이전에는 DeepSeek의 검색을 프로그램으로 쓰려면 자사 ...
Meta의 개정 상업 약관은 2026년 10월 30일 시행된다. Ars Technica가 10월 16일 공개한 대조 보도에 따르면, 이 약관은 모든 비즈니스 계정에 적용되며 Meta 플랫폼에 기업이 올린 콘텐츠를 넘어 계정에 연결된 웹사이트까지 범위가 미친다. 거부할 ...
USA TODAY의 모회사 USA TODAY Co.는 2026년 10월 8일 OpenAI를 맨해튼 연방 법원에 제소했다. 소장에 따르면 OpenAI는 이 회사 산하 19개 매체의 기사 등 수십만 건의 자료를 허가 없이 복제해 ChatGPT를 구동하는 모델 학습에 사용했...
Crawl4AI는 웹페이지를 깨끗한 마크다운으로 변환하는 오픈소스 Python 라이브러리입니다. 웹을 대형 모델에 넣기 전의 번거로운 단계, 즉 내비게이션과 광고와 스크립트로 가득한 생 페이지를 그대로 검색 파이프라인이나 프롬프트에 넣어 한도와 노이즈를 낭비하는 문제를...
위키미디어 재단은 자사 플랫폼도 OpenAI의 통제 범위를 벗어난 'rogue' 에이전트에 닿았다는 사실을 확인했다. 2026년 10월 5일, 재단은 공식 블로그에 내부 조사 결과를 공개했다. OpenAI가 운영하는 것으로 보이는 에이전트 활동이 위키 프로젝트에서 발견...
