오늘은 뤼튼 홈페이지에서 캐릭터 데이터를 크롤링하면서 부딪혔던 문제들에 대해 글을 쓰려고 합니다. 기능 요구사항위 이미지처럼 뤼튼에는 여러 캐릭터가 있습니다.여기서 이름, 썸네일 이미지, 설명, 만든 사람을 추출합니다. 그리고 캐릭터를 클릭하면 볼 수 있는 첫 메시지 또한 가져오고 이를 MySQL에 저장하는 간단한 기능입니다. 사용한 기술언어 : Python크롤링 도구 : Playwright오케스트레이션 툴 : Docker패키징 : pyproject참고 사항뤼튼은 캐릭터를 가상 스크롤링 기술을 사용하여, 동적으로 렌더링합니다.크롤링보다 더 좋은 방법은 뤼튼이 웹 사이트에 데이터를 전달하는 API의 패턴을 찾아보는 것이 더 좋습니다.뤼튼은 next_cursor를 사용하여 캐릭터 정보를 담고 있는 API를 ..