Проблемы с парсингом

Я хотел создать парсер который при нахождении на сайте div(первого) то оне бы записывал в файл что найденно

первые 3 сайта работали хорошо

не найденно

не найденно

не найденно

вот эти 3 сайта

5.164.31.7

5.164.31.10

87.244.33.210

но на этом сайте стопорится с ошибкой

62.5.227.197

вот код в текстовом варианте:

import requests
from lxml import html
from bs4 import BeautifulSoup
import os



FB = open("C:/Users/videx/Desktop/Internet Explorer/софт/data cleaner/good.txt")
FS = open("result.txt", 'w')



def main():
    html = open('test.html').read()
    soup = BeautifulSoup(html, 'lxml')

    #find
    #find_all
    div = soup.find('div')
    print(div)




for line in FB:


    url = line # url для второй страницы
    url = url.rstrip()
    r = requests.get('http://' + url)
    with open('test.html', 'w') as output_file:
        output_file.write(r.text)


    res = main()
    if(res == None):
        FS.write("\n" + "не найденно")
    else:
        FS.write("\n" + "найденно")

Ответ:

Я решил эту проблему путём указания кодировки utf-8

with open('test.html', 'w', encoding="utf-8") as output_file: