Dc List Crawler

🛑 👉🏻👉🏻👉🏻 INFORMATION AVAILABLE CLICK HERE👈🏻👈🏻👈🏻

DC-Crawler for data mining to be used for academic purposes.
Failed to load latest commit information.
DC-Crawler는 방대양한 양의 특정 자료를 수집, 검색하기 위한 목적으로 제작되고 있는 프로그램이며, 오픈소스 프로젝트이다. 그 성격은 robots.txt를 따르며, 자료수집 이외의 다른 기능은 추가하지 아니한다.
이 프로그램은 자료수집은 쉽게 진행하기 위하여 그 기능들을 종합시킨 도구이다. 크게 일반 보기, 특수 검색, 랭킹, 데이터 수집 기능을 지원한다. 이 기능들은 모두 단순한 데이터 수집 기능을 기반으로 제작되었음을 알린다.
프로그램 실행시 처음으로 보게될 창이다. 이 창은 설정된 갤러리에 해당하는 게시글을 보여준다. 먼저 왼쪽 상단의 id는 갤러리의 이름을 입력한다(검색 기능을 지원한다.) page부분은 불러올 페이지를 설정한다. 아마 쓸데는 없을 것 같다. author부분은 특정 작성자의 글을 불러온다. Load버튼으로 설정된 값을 실행한다.
노란색으로 채워진 게시글은 작성자가 고정닉인 경우이고, 회색과 흰색은 각각 비고정닉, 유동닉인 경우이다. 이는 이하 창들에도 모두 적용된다.
각 게시물 항목에서 오른쪽 마우스 버튼을 누르면 해당하는 게시물의 댓글과 내용을 열람할 수 있다.
특정사용자의 닉네임이나 IP주소 두 자리로 해당하는 모든 글과 댓글을 가져온다. 오른쪽 상단의 체크박스 버튼으로 댓글만이나 게시글만 가져올 수 있도록 설정할 수 있다. 오른쪽 아래 Start버튼으로 찾기를 시작한다. 단, 이 버튼 바로옆 Author, IP중 하나를 체크하고 진행한다.
검색하는 중 왼쪽 하단의 Save버튼으로 가져온 정보를 저장할 수 있다. 가장 최근 업데이트에선 모든 항목마다 Author을 표시할 수 있게 만들었다.
Activity Time 버튼은 시간대별 댓글, 게시글 수를 조사한 결과를 보여준다.
특정 갤러리에서 특정 페이지 내에 존재하는 사용자들의 게시글, 댓글 개수를 순위를 매겨 표현한다. 이 순위는 게시글 수 * 2.5 + 댓글 수 * 1.5식을 따른 종합 랭킹 점수(Score)를 기준으로한 순위이다.
Export는 랭킹을 특정 설정값에 따라 파일로 출력하는 도구이다. 설명은 생략한다.
이 창은 크롤러의 본체라 할 수 있는 크롤링 전용 창이다. 해당하는 갤러리의 id와 페이지를 설정한 후 Start버튼을 누르면 모든 댓글에 관한 정보, 게시글 정보를 다운로드하여 ...\년도\월\일\게시글번호폴더의 형태로 저장한다. 이 기능은 한창 개발 중에 있고, 아직 수집 기능만 지원한다.
Html의 복잡한 그 특성에 맞춰 정규표현식을 이용하여 작성되었다.
이 파일엔 모든 하위 파일에 사용되는 여러 함수와 변수가 포함된다.
DCGallList는 gall\.dcinside\.com\/board\/lists\/\?id\=(\w+)\""[\s\S]*?;""\s?\>(.*?)\<의 표현식을 가진다. http://wstatic.dcinside.com/gallery/gallindex_iframe_new_gallery.html주소에서 모든 갤러리의 리스트를 가져오는 ListingGallery함수를 이용하여 GallList인 딕셔너리 변수에 갤러리 이름,갤러리 정보형태로 저장한다. 갤러리 정보는 identification와 name이 있는데, 각각 갤러리 id와 갤러리 이름을 나타낸다.
DCMap는 notice"" >(\d+)<[\s\S]*?middle;"">(.*?)[\s\S]*?user_id='(.*?)' user_name.*?.*?<[\s\S]*?hits"">(\d+)<[\s\S]*?hits"">(\d+)<의 표현식을 가진다. GetDCMapFromUrlAnsyc함수는 http://gall.dcinside.com/board/lists/?id={loadedId}&page={i}인 주소에서 html파일을 다운로드해 webClient_DownloadStringCompleted에서 분석되게 되는데, 여기서 DCMapStructure이 이용된다. 이 구조체엔 게시글 식별번호, 제목, 댓글 수, 작성자, 날짜, 조회수, 추천수, 작성자 level, user id가 각각 순서대로 저장된다. 여기서 작성자 level은 구역 전체에서 판단하게 되는데,

가 제목에 포함된다면 댓글이 존재하며, 그 댓글은 (.*?)
[와 ]사이에 존재한다. 글 제목엔 HTML 독립체 호환용 문자열이 들어가 있는 경우가 있는데 이는 replace함수로 부터 걸러지게 된다.
DCComment는 [\s\S]*?m_list_text"">(.*?)<[\s\S]*?date"">(.*?)<의 표현식을 가진다. GetCommentsHtml함수는 http://m.dcinside.com/comment_more.php라는 모바일 주소를 이용해 댓글의 정보를 가져온다. 이에 대한 정보는 Line 353을 참조하라. 송신된 댓글 페이지 조각은 Html로 이루어져 약간의 분석을 요구한다.
이를테면, DC-Data나 종합랭킹의 경우엔 한 페이지엔 약 30개의 게시물이 있는데, 그 중 2/3의 게시물이 댓글을 가진다 가정하면, 한 페이지에서 20개의 댓글을 불러와야한다. 만일, 100페이지를 불러온다면, 2000번 댓글을 가져올 필요가 있다 (HIT 갤러리의 경우 10페이지 정도에 1000번 댓글을 가져온다.) 페이지와 댓글 수가 서로 맞추어 지지 않으면 속도 저하와 메모리 요구사항으로 애를 먹게 되는데 이를 해결하기 위해 일정량의 페이지를 불러오면, 댓글이 모두 불러와질 때까지 진행되지 않는다 (메모리 요구는 시스템상에 부담이 되는데, 비동기 로직을 사용하기 때문이다.) frmRankTotal.vb파일을 보면, Line 81에 max_partition이 있는데, 이 수는 페이지를 한 번에 어느 정도 불러 올건지 설정한다. 즉, 50페이지를 불러오면 댓글이 모두 불러와질 때까지 진행되지 않는다. tChkFinish_Tick함수는 마지막 남은 페이지 수와 max_partition을 처리하는 로직인데, lastwaiting은 마지막 남은 페이지를 처리할 때 set되는 변수이다.
여기서 받은 정보는 닉네임이 길경우 그 일부가 잘려나온다. 이를 보완하기 위해 CutAuthor를 사용하는데, 이는 최대 6글자만을 가져온다. 물론, 고정닉, 비고정닉, 유동닉을 구별한다.
이 프로그램은 http://m.dcinside.com/gallog/home.php?g_id=를 사용하여 댓글과 목록을 가져오지만, 모바일 전용으로 사용되는 터라, 제대로 불러오질 못한다.
얼마전, DCMap에 3번째 항목으로 User Id를 가져올 수 있게 업데이트 하였다. 이 User Id는 level이 1또는 2일 경우에만 사용된다.
이 함수는 해당 갤러리의 마지막 페이지를 가져온다. http://gall.dcinside.com/board/lists/?id={cbId.Text}&page=1를 이용하는데, 어떤 갤러리의 어느 페이지든 맨뒤 버튼 부근에 맨뒤 페이지의 페이지가 기록되기 때문이다. Html 전체에 단 하나 존재하여 단순하게 &page=(\d+)"" class=""b_next"">맨뒤를 사용하면 불러올 수 있다.
DC-Crawler for data mining to be used for academic purposes.

Dark-Crawler was once known as Night-Crawler and was an ancient enemy of the Undying Ones. A cult worshiping the Undying Ones sent the Hulk to his dimension hoping the Hulk would destroy him. To motivate the Hulk to fight, the Undying Ones sent an unconvinced member, Barbara Norriss, knowing that the Crawler would attack her. The battle that followed destroyed the Crawler's scepter and his realm and he was sucked into the Undying Ones' dimension. Once there, the Crawler battled the Undying Ones up until the moment where their plan to invade Earth was spoiled - meanwhile, the Hulk escaped with the help of the Undying Ones' prisoner, Dr. Strange, and thanks to Norris' sacrifice staying behind.[4]
Defeating the demons and their leader the Nameless One and became the ruler of the Undying Ones changing his name to Dark-Crawler. Eventually the Nameless One was again shown to be in control of the undying ones so his fate is currently unknown.
Meanwhile, the villain Leader discovered Hulk's past encounter with the Crawler. The Leader included the Crawler in an array of simulated supervillains he sent against the Hulk in an attempt to cause him a heart attack.[5]

The Night-Crawler has class 100 strength, lifting in excess of 100 tons.
Bright light has been known to cause him pain.

He once wielded the Sceptre of Shadow, an object that could cause complete darkness. He claimed it had far deadlier powers but it was destroyed by Barbara Norriss before he could use them.[4]
Community content is available under CC-BY-SA unless otherwise noted.
Fandom Apps
Take your favorite fandoms with you and never miss a beat.
D&D Beyond
Marvel Database is a FANDOM Comics Community.

java - Crawl a list of sites using Crawler4j - Stack Overflow
GitHub - kakera87/dc -crawler : DC -Crawler for data mining to be used for...
Dark-Crawler (Earth-616) | Marvel Database | Fandom
Listcrawler - Escorts and Dating
Listcrawler Pro | Better Escorts and Dating
Backpage Littleton Co
Escort Lex
Lilith Lust Boobs
Dc List Crawler

Dc List Crawler

Report Page