웹 크롤링 / 대용량처리

크롤링 작업을 정확히 모르셔도 됩니다.원하시는 사이트와 결과물을 어떻게 받고 싶으신지만 알려주시면 분석해서 가격 및 기간을 산정해 드립니다.또한, 1회성이 아닌 주기적인 프로그램 제작도 가능합니다.크롤링이 어려운 중국쇼핑몰이나 제한된 사이트도 개발한 경험이 많으니 문의 주시면 대안을 제시해드립니다.- 크롤링 작업 예시네이버 주요서비스를 수집하고자 할때네이버 댓글을 수집하고자 할때공공api를 수집하고자 할때논문 수집하여 필요한 자료만 추출하고자 할때카페 글 수집지도 검색 수집특정 키워드로 자료 및 기사 수집쇼핑물 자동 등록 / 재고 등 확인 프로그램해외 쇼핑물 자동 등록 / 재고 등 확인 프로그램유튜브 키워드별 정보 수집대학 모집요강 / 대학포털 정보 수집원하시는 경우 수집한 데이터의 결과물을 excel, txt, csv등 다양한 형태로 제공가능해 드립니다.또한, 사용법이 담긴 가이드 문서도 제공해 드립니다.- 주기적으로 크롤링이 필요한 경우서버가 있는 경우 해당서버에 세팅가능하며, 서버가 없는 경우 저렴한 cloud에 연결하여 세팅가능합니다.(서버 세팅은 추가비용 협의대상입니다.)- 대용량처리가 필요한 경우elasticsearch를 사용해 크롤링된 대용량결과를 저장하여 재사용이 가능하도록 구현가능합니다.또는 mongodb나 mysql, mssql 등의 RDB를 사용해도 됩니다.(db세팅은 미포함이나 필요한 경우 추가비용으로 개발가능합니다.)크롤링 및 대용량저장, 실시간 처리를 다양하게 구현한 경험을 살려서 원하시는 결과물을 만들어드리겠습니다.아마존, 야후재팬, 구글, 엣시, 라쿠텐, 쇼피, 티몰 , 지마켓(gmarket), 네이버쇼핑 등 외국 쇼핑몰, 국내 쇼핑몰 가능합니다.특히, 크롤링이 어려운 중국쇼핑몰도 가능하니 문의주시기 바랍니다.최근 차단이 심해진 1688.com tmall.com 등의 작업을 성공적으로 납품하여 운영중입니다.고급개발 노하우가 필요하신 경우 연락주시기 바랍니다.특정아이피 차단 등 크롤링 차단에 대해서도 다양한 가이드 및 해결방안을 제안해 드립니다. 1. 상담2. 구현 설계3. 구현4. 결과물 제공 (납품)6. 수정사항 있는 경우 수정 작업(기능상 문제가 있는 경우 수정진행, 기능추가나 요건변경은 추가비용 발생)7. 피드백 마무리 원하시는 결과물, 내용 등을 최대한 상세하게 설명해 주시면 충분한 질의응답을 거쳐서 최적의 작업을 해드리겠습니다. 1. 크롤링 사이트 주소2. 크롤링 결과물 형태3. 원하는 결과물 / 크롤링 목적