데이터 크롤링 / 스크래핑 / 전처리

안녕하세요, 데이터 크롤링 현직 4년차 개발자입니다.여러 금융사와 롯데멤버스, NICE, 웰컴저축은행 등의 금융사들에 들어가는 서비스의데이터 수집 및 전처리를 담당했습니다.단순한 문의도 가능하니 편하게 연락주시면 감사하겠습니다. 1. 문의 - 사이트 URL 및 로그인 정보(필요시) - 수집이 필요한 데이터 정보 (화면 캡쳐 후, 어떤 변수명으로 저장할지 지정) - 출력 데이터 형식 (엑셀, csv, pkl 등) - 요구사항 (수집된 데이터의 전처리 등)2. 페이지 구조 분석 및 협의 - 페이지 구조에 따라 작업 방식, 개발 시간, 크롤링 시간 등을 설명드립니다 - 작업 방식에 따라 견적을 작성하고, 이를 토대로 협의를 진행합니다.3. 수정 - 결과물에 대한 협의사항에서 크게 벗어나지 않는 정도에서 3회까지 가능합니다. - 수집 과정에서 샘플 데이터를 전달드립니다. 이 단계에서 수정사항은 카운트 되지 않습니다.4. 비용 - 기본 크롤링 (한 페이지 내에서 복수의 데이터를 수집하는 경우 ex. 게시판 제목) 기본 3만원(5천 건) + 추가 1천 건 당 1만원 추가 - 데이터 수집 때마다 접속이 필요한 경우(ex. 게시판의 게시물마다 들어가서 정보를 가져오는 경우) 기본 3만원(2천 건) + 추가 1천 건 당 1만원 추가 - 크롤러 프로그램 제작 - 별도 문의 - 수집된 데이터의 간단한 전처리는 무료 제공(공백 제거, 데이터 타입 변환 등) - 수집된 데이터 간 전처리가 필요한 경우 (정가, 판매가를 이용해 할인률 계산 등) 추가 금액 발생5. 추가비용 협의사항 - 동적 크롤링이 필요한 경우 (사이트에서 특정 부분을 클릭하거나, 스크롤 해서 크롤링 해야 하는 경우) - 로그인이 필요한 경우6. 크롤링이 어려운 사이트 - 캡챠 등 보안이 있는 사이트 (경우에 따라 크롤링 가능한 경우도 있으니 문의 주시면 가능여부 확인드립니다) - 동일 사이트지만 페이지마다 구조가 다른 경우 (페이지마다 크롤러를 개발해야 하기 때문에 비용이 크게 발생할 수 있습니다.) - 사이트 URL 및 로그인 정보(필요시) - 수집이 필요한 데이터 정보 - 출력 데이터 형식 (엑셀, csv, pkl 등) - 요구사항