Подключение баз данных

Обновлено 01.05.2022

Для подключения собственной базы данных отправьте боту файл размером до 20 мегабайт в формате .csv, или csv в архиве .zip

Требования к загружаемому файлу:

название файла = название базы данных

• если база данных разбита на несколько частей указывайте порядковый номер. Пример: my_bd_1.csv, my_bd_2.csv, my_bd_3.csv, my_bd_4.csv
• формат: .csv с параметрами по умолчанию - разделитель запятая (,), экранирование ("), перенос строки в формате unix (\n)
• размер файла:
  - Если ваша база данных весит от 20 мегабайт до 4 гигабайта загружайте ее через бота @global_tech_aggregator_bot
  - Если ваша база весит меньше 20 мегабайт загружайте ее через своего бота которого подключали через But Father.
  - Если ваш .csv файл очень много весит - можете сжать его в архив .zip тем самым уменьшить размер файла в несколько раз,
  В одном .zip архиве должен быть один файл .csv, названия архива не имеет значения.
• В случаях когда ваша база данных весит больше 4 гигабайт, либо загрузка файла идет очень долго, вы можете разбить ее на несколько частей. Например my_bd.csv составляет 3.4 гигабайта, тогда разбейте файл на две части my_bd_1.csv (размер 1.7 гагабайт) и my_bd_2.csv (размер 1.7 гигабайт) и отправьте их @global_tech_aggregator_bot разными сообщениями.

Файл с базой данных можно загружать в https://t.me/global_tech_aggregator_bot или в подключенных ботов, если у вас нету подключенного бота тогда отправьте команду /bot и следуйте инструкции.

Требования к формату данных в файле:

!!! Всегда соблюдайте следующие названия полей в загружаемом файле:

phone
email
phone2
first_name
middle_name
last_name
fio
birthday
password
sex
image_link
login
country
ip_address
account_id
city
tax_id
address_street
address_index
passport
address_region
username
fb_id
instagram_id
twitter_id
vk_id
vk_username
tg_id
tg_username
livejournal_id
skype_id
ads_id
car_info
car_number
car_vin
car_owner_info
company_name
company_number
company_owner
company_site
about
comments
other_information

В базе предусмотрены только поля указанные выше. Если вы назовете поле с номерами телефонов не phone а telefone или phones то получите ошибку.

Обязательные поля в загружаемом файле:

phone // + одно или большей полей

или

email // + одно или большей полей

Обязательные поля нужны чтобы вы могли осуществлять по ним поиск.

• Чтобы загрузить базу данных с номерами телефонов и ФИО вам нужно загрузить файл с полями

phone
first_name
middle_name
last_name

• Чтобы загрузить базу данных с имейлами и ФИО вам нужно загрузить файл с полями

email
first_name
middle_name
last_name

• Чтобы загрузить базу данных с телефонов с имейлами вам нужно загрузить файл с полями

email
pnone

или

pnone
email

Поля можно указывать в любом порядке.

• Чтобы загрузить базу данных с данными которые не предусмотрены в этой документации вам нужно загрузить файл с одним из обязательных полей email или phone, а данные которые не предусмотренные поместить в колонку other_information

Пример:

other_information
pnone

или

other_information
email

• Чтобы загрузить базу данных с номерами телефонов, ФИО, городом, страной, улицей, телеграм ID, другой информацией нужно использовать следующие поля

phone
first_name
middle_name
last_name
city
country
address_street
telegram_id 
about

Учтите! Вы можете загрузить файл только с 2 и больше полями и одно из них должно быть обязательным!

Пример: нельзя загружать файл с полями first_name, middle_name, last_name, city без поля email или phone

Требования к формату данных в полях

Обязательные поля:

phone - в это поле записывайте номер телефона в международном формате только цифрами!

Символы которые допустимы в строке с номером телефона + - () и пробел.

Примеры номеров телефонов в международном формате которые примет бот:

+792345678901 RU
792345678901
+7(92)345 67 89 01

+ 77(2345)67-89-01 KZ

375-123-456-789 BY

380123456789 UA

998 123456789 UZ

Если вы будете загружать базу с номерами RU и в поле phone будет указан номер телефона в формате 82345678901 вместо 792345678901 то бот не обработает ваш файл и выдаст ошибку, поскольку номер записан без международного формата!

При обработке номеров бот сам уберет лишнее символы в номере и запишет все номера в формат 792345678901

• email - в этом поле бот проверяет наличие @ и символов до и после, если в строке email будет пусто, бот проверит строку с номером телефона, если и она будет пустой, выдаст ошибку.

Перед тем как загружать файл боту проверьте все строки на наличия символа @, если у вас есть пустые строки с phone и email но другие поля заполнены - тогда удалите строку!

ФИО

- first_name - Имя

- last_name Фамили

- middle_name Отчесво

В большинстве баз данных фамилия, имя и отчество указано одной строкой, чтобы бот принял вашу базу данных вам нужно разделить эти данные в 3 разные строки.

Нельзя в поле first_name записывать фамилию и имя, например: Иван Петров, и в поле last_name записывать имя и отчество.

Уделите время и разделите эти строки!

Если вы все же решите загрузить файл со строками где указано вместо имя и фамилия или имя отчество или отчество фамилия то назовите это поле fio чтобы в дальнейшем вы могли делать поисковые запросы по этому сочетанию.

! Параметры полей которые не предусмотрены документацией.

Если в вашей базе данных есть поля которые не предусмотрены в этой

документации, вы можете сами придумать их название на

английском языке.

// Например, если в вашей базе есть битые данные с датой рождения которые

нельзя исправить, тогда вы можете назвать поле не birthday, а birthday_time или birthday_date

Или в вашей базе есть поле с информаций что человек кушает на обед, тогда можете назвать это поле eat_dinner или like_eat

Только учтите, что по полям которые вы сами придумали поиск осуществляться в боте не будет.
Нельзя назвать поле с номером телефона ‘telephone' или емейлом ‘mail’ и ждать что при отправке боту номера телефона или емейла он найдет информацию по этому полю.

Формат остальных данных в полях

Остальные данные кроме:

phone
email
first_name
middle_name
last_name

имеют только общие требования:

• количество символов до 4 тисяч на строку
• если название поля есть упоминание _id, например fb_id, instagram_id, twitter_id тогда нужно указывать ID без лишней информации, используя только цифры.

Например для:
FB 1000320033233
Insta: 84392823823
TG: 42003043
Если вы укажите ссылку на или другую информацию строки будут игнорироваться.

• в поле sex указываете символ если женщина значение w, если мужчина значение m, поле может быть пустым
• в поле birthday стандарт дд:мм:гг, цифрами

Примеры файлов:

Чтобы получить файлы .csv с примерами отправьте боту команду /get_example_bd

Бот вернет вам тестовые файлы баз данных в которые вы можете внести изменения и отправить их боту назад чтобы проверить как это работает.

Правила:

1) Выделанная серверная память для баз данных на одного пользователя составляет - 150 гигабайт.

2) Запрещено загружать одинаковые базы несколько раз.

3) Поиск по базе которую вы загрузили доступен ТОЛЬКО вам, если вы не предоставите доступ к нему другим пользователям!

4) Если вы будете пытаться DоSить базу данных спамом, пытаться загрузить в базу исполняемый код, злоупотреблять ресурсами бота или пытаться нанести вред каким-то другим способом - БАН НАВСЕГДА - вычислим по IP и надерем зад :)

FAQ

Зачем мне загружать свою базу данных?

Первое это - удобство! Когда вы добавите свои базы в бота то сможете искать нужную информацию всего за несколько секунд в одном месте. Вам не нужно платить за хостинг или нагружать свой компьютер.

Второе - если у вас закончились поисковые запросы по нашей базе, то по своей базе вы можете искать неограниченное количество раз без ограничений и бесплатно!

Все мои базы в формате CRONOS, Как быть?

Вы можете выгрузить базу через функционал экспортировать. Если количество строк больше 1 миллиона тогда выгружайте в формат .txt и переделайте в .csv

Кто еще может искать по моей базе данных?

Только вы можете искать по базе данных которую вы загрузили! Мы не будем давать доступ другим пользователям к вашей базе данных - без вашего на это согласия в будущем!

Размер загружаемой базы данных больше чем 1 гигабайт?

Пользователи которые загрузят несколько баз данных до 20 мегабайт и пройдут проверку получат возможность загружать файлы размером до 4 гигабайт. Начинайте с малого)

Файл з базой загружается несколько часов, что делать?

Скорее всего это связанно с большим размером файла который вы пытаетесь загрузить. Если он больше 2 гигабайт попробуйте разбить его на несколько частей.

Если мне нужно загрузить только 3 колонки с данными, другие 32 мне нужно указывать и оставить пустыми?

Нет, только те поля данные по которым у вас есть. Например вы можете загрузить базу на 100к номеров телефонов с имейлами но только в 5 000 строках у вас есть ФИО, тогда добавьте поле fio и заполните его. В итоге 95к строк в колонке fio будут пустыми а 5к заполнены, это - ОК

Бот вернул ошибку что номер телефона неправильный, что делать?

Проверьте правильность указанного номера телефона в международном формате, убедитесь что после кода страны указаны правильные цифры номер оператора.

Я смогу монетизировать свои базы?

Да, в дальнейшем каждый желающий сможет получать большой % от шаринга своими базами данных.

Я могу удалить базы которые я загружал?

В любой момент.