Будущее Рунета

TEvg-2> если даже прикроют вконтактик, то хомячотк будет маршировать строем под музыку Вагнера или может ему придумают другую отдушину. Суть повторюсь не в музыке с вконтактика.

Ладно, так и запишем — клиент вообще нифига не понял. Как-то дурно на тебя дауншифтинг влияет, раньше у тебя ум был более цепким.

TEvg-2>> У меня скрин твой не виден.
Balancer> Ну да, у тебя всегда всё не как у людей

Ну чё-то грузится. Рутракер.орг, ты ж полмегабайта на скрин отвалил.

Balancer> Про ваши узбекистаны с казахстанами не знаю. Как и про леса с избушками. Но если бы Мегафон блокировал Оперу-турбо в наших краях, об этом бы стоял шум на весь Интернет.

А ну да. Жизни за МКАДом нет.

>Ладно, так и запишем — клиент вообще нифига не понял. Как-то дурно на тебя дауншифтинг влияет, раньше у тебя ум был более цепким.

Я так понимаю тебя, ты утверждаешь:
а) понять содержимое трафика в частности потокового видео трудно, а значит трудно отличить его от крамолы
б) если грубо рубить - хомячок взвоет.
в) исходя из а) и б) - Путин не посмеет.

Так?
б) грубо рубить не будут
в) Путин посмеет
а) проблема а) будет решаться шаг за шагом и не просто будет распознаваться трафик - юзеров и провайдеров будут подталкивать к работе в таких рамках, которые облегчат работу Большому Брату.
Собственно это работа уже идет 1) трафик оперы-турбы распознается и глушится 2) выше писали что в Беларуси и Тор глушат 3) под угрозой посадки в клетку, юзеры занимаются самоцензурой и ходят строем. Даже у нас на авиабазе. А Рома платит солнышками за поиск и вычищение крамольных материалов.

Balancer> Кстати другой вопрос, как ты предлагаешь, даже при наличии системы «белых списков» бороться с шифрованием на прикладном уровне, при передаче по открытому каналу? Сможешь анализом контента отличить архив (включая сжатые звук и видео) от зашифрованного блока? С точки зрения структуры шума они идентично выглядят.

Вообще-то, собрав все пакеты в кучу это можно будет сделать и без попыток расшифровки. Нам ведь надо определить сам факт наличия, а содержимое можно узнать и потом. Вот тут и пригодится желание хранить весь трафик ЕМНИП, в третьем СОРМ-е было прописано требование хранить весь трафик не менее 12 часов и всего для пары тысяч подозреваемых. Теперь же через депутатов замахнулись на три года и весь трафик для всех абонентов. Плюс идут разговоры про единый для всех ОПСОС-ов мессенджер.

Я, когда писал, помимо прямых коммуникаций вне сети под контролем дядек и организации своей сети аля Fido, держал в уме еще и стеганографию. Будем передавать друг-другу фоточки котиков, стримить вид из окна. Еще можно слать построчно в архивах с паролем рецепты пирожков и т.п.

ЗЫ Решил уточнить, что пирожки не с мясом, ливером, овощами, фруктами, а истинные пирожки

Alexandrc> Еще можно слать построчно в архивах с паролем рецепты пирожков и т.п.

Можно даже и без архивов с паролями, чтобы не глумиться над смотрящими, и даже не рецепты, а цитаты из публикуемых Российской газетой законов

Balancer> Заблокировать в наказание Facebook — это сразу круто обломаться со страницами многих популярных российских деятелей и предприятий. Вплоть до Медведева Это будет офигенно негативный шаг.
а китай заблочил и ничего. Не умер и даже не чихает.
По поводу страниц - кто сказал,что они должны быть на американской площадке, и быть подвержены раскрытию информации по первому запросу властей сша?

Balancer> Заблокировать Google — это будет вообще песец. Накроется почти весь мобильный рынок.
а тем не менее было бы правильно переходить с сервисов гугла на находящиеся не на территории сша.
Постепенно, но переходить. Именно для того, чтоб не надо было драконовские меры в отношении остального вводить. А можно было так, как сша делает, поступать, фильтруя зловредов без ограничения остальных юзеров именно благодаря полной власти над этими ресурсами.

Bredonosec> а китай заблочил и ничего. Не умер и даже не чихает.

Он сделал это до того, как в Facebook'е появились тысячи официальных страниц китайских производителей, миллионы китайцев и руководство КПК Естественно, и в России [почти] никто не умрёт, если FB заблокировать. Но последствий будет намного больше, чем в КНР.

Bredonosec> По поводу страниц - кто сказал,что они должны быть на американской площадке

Никто не сказал. Просто факт. Как факт, что большинство российских крупнейших сайтов располагается в заграничных датацентрах.

Bredonosec> а тем не менее было бы правильно переходить с сервисов гугла на находящиеся не на территории сша.

Так альтернатив на мобильном рынке просто нет. Предлагаешь писать российскую iOS?

Bredonosec> Постепенно, но переходить.

Это будет технологическим провалом, который отбросит Россию на 10-15 лет назад и потребует затрат в миллиарды долларов.

Bredonosec> А можно было так, как сша делает, поступать, фильтруя зловредов

Вернись в тему повыше. Без ущемления всех пользователей сети в общем случае это невозможно.

Balancer> Так альтернатив на мобильном рынке просто нет. Предлагаешь писать российскую iOS?

Российский андроид.

Bredonosec>> Постепенно, но переходить.
Balancer> Это будет технологическим провалом, который отбросит Россию на 10-15 лет назад и потребует затрат в миллиарды долларов.

Забан гугола отбросит на 10-15 лет? Серьезно?

>Но последствий будет намного больше, чем в КНР.

Незначительный шум на форумах.
Легко компенсируется какой-нибудь морковкой.

TEvg-2> Нет конечно. i2p неработоспособное г****но. 95% юзеров тут же разбегутся.

Других писателей протоколов у меня для вас нет ©
Разбегутся только если это будет требовать запредельных усилий для установки. Но люди на АБазе достаточно упёртые и технические, так что при желании всё осилят

Balancer> Если речь об обходе потенциальных блокировок, то с этой точки зрения проблем нет и без i2p, благо хостится она за пределами РФ

Не думай, что в России самая злобная цензура. Я, к примеру, не очень хотел бы, деанонимизации

Balancer> Для более свободного общения ситуация другая. Многие вещи нейтральные или даже позитивные с точки зрения общечеловеческой этики с РФ сейчас могут конфликтовать с законом. Тут нужен ресурс, прямо не связанный с Авиабазой и мной

Не только не связаный, но и не зависящий от тебя. Возможно Р2Р, по типу, биткоина.

Balancer> В идеале он нужен и для сноса всего архива старой переписки и т.п.

В сторону торрентов не смотрел? Практически неубиваемая и снижает нагрузку с сервера.

Balancer> Именно для этого (в том числе) я сейчас и развиваю систему Infonesy.

Чуть посмотрел и понял - чего я тебе советую? Ты уже и так все технологии собрал в одну кучу

Balancer>> Если речь об обходе потенциальных блокировок, то с этой точки зрения проблем нет и без i2p, благо хостится она за пределами РФ
AleksejLt> Не думай, что в России самая злобная цензура.

В Германии, где находится Авиабаза, объективно, с цензурой проблем меньше, чем в России. Хотя и там не безоблачно, да.

AleksejLt> Я, к примеру, не очень хотел бы, деанонимизации

Это проблема, решаемая на стороне клиента. Авиабаза не блокирует всякие Tor'а и сторонние прокси/VPN

Balancer>> Тут нужен ресурс, прямо не связанный с Авиабазой и мной
AleksejLt> Не только не связаный, но и не зависящий от тебя. Возможно Р2Р, по типу, биткоина.

Я Infonesy в расчёте на такую независимость и разрабатываю. Просто в отличие от Blockchain — на более привычных и потому реальных технологиях. Недостаток всех нынешних p2p-решений, от форумов в i2p до retroshare и zeronet в том, что они сразу изолируются от 99% сообщества, привыкшего ходить с обычным браузером по привычным сайтам. Я и хочу избежать этого разрыва, с одной стороны, реализовав сеть независимых ресурсов, включая уже раскрученные, с другой — предоставив к ней доступ как обычным пользователям через привычные браузеры, так и желающим анонимизироваться через p2p-средства.

Balancer>> В идеале он нужен и для сноса всего архива старой переписки и т.п.
AleksejLt> В сторону торрентов не смотрел? Практически неубиваемая и снижает нагрузку с сервера.

Торренты тут никаким боком не подходят. Они же не обеспечивают возможность общения

AleksejLt> Ты уже и так все технологии собрал в одну кучу

И технологий не хватает на уровне «последней мили» (вон, в retroshare я так ещё и не решил проблему, как с cli читать/писать форумы, за zeronet вообще ещё не брался), и ещё больше вылезает мелких проблем в концептуальном плане. Типа, как ресурсам-репликам реагировать на изменения данных (переносы топиков между форумами или, того хуже, между ресурсами, переносы сообщений между топиками и т.п.), как распределять между независимыми нодами тяжёлые задачи (сниппеты сайтов, архивы страниц сайтов и т.п.), как хранить YouTube-ролики (я начал сохранять всё, что публикуется на Авиабазе и оно уже выжрало 120Гб, не успеваю вручную чистить явно бесполезные вещи, те, которые точно не будут сносить, те, что легко найти и при потери с Ютуба (кинофильмы, скажем))... И, главное, на всё сразу не хватает ужасно времени. Выкраивать приходится по паре часов в неделю, буквально...

Balancer> Это проблема, решаемая на стороне клиента. Авиабаза не блокирует всякие Tor'а и сторонние прокси/VPN

Я пока ещё не дожил до того чтобы пользовать VPN для общения в форумах

Balancer> Я Infonesy в расчёте на такую независимость и разрабатываю. Просто в отличие от Blockchain — на более привычных и потому реальных технологиях. Недостаток всех нынешних p2p-решений, от форумов в i2p до retroshare и zeronet в том, что они сразу изолируются от 99% сообщества, привыкшего ходить с обычным браузером по привычным сайтам

Проблема всех форумов это авторизация - у всех сообщений виден автор. Т.е. проблему читателей решить не особо сложно. А вот писатели вычисляются на ура.

Balancer> Я и хочу избежать этого разрыва, с одной стороны, реализовав сеть независимых ресурсов, включая уже раскрученные, с другой — предоставив к ней доступ как обычным пользователям через привычные браузеры, так и желающим анонимизироваться через p2p-средства

Для полной шифровки надо прятать форум от неавторизированных пользователей. Но что тогда за форум?

Balancer> Торренты тут никаким боком не подходят. Они же не обеспечивают возможность общения

Я про хранение архивов, особенно видео. Ты хранишь магнит-ссылку, а активные пользователи раздают файлы.

Balancer> как распределять между независимыми нодами тяжёлые задачи (сниппеты сайтов, архивы страниц сайтов и т.п.), как хранить YouTube-ролики (я начал сохранять всё, что публикуется на Авиабазе и оно уже выжрало 120Гб

Тяжело сказать, когда не понимаешь всей архитектуры, но я бы пробовал файловую структуру. Тяжёлые файлы группируешь в директории - видео_год_месяц, картинки_год_месяц и т.д. Закончился месяц, опубликовал (через торрент или другой Р2Р-клиент) список новых архивных директорий. Правда возникает вопрос - как реализовать автоматическое обновление архива у пользователей?

Balancer> не успеваю вручную чистить явно бесполезные вещи, те, которые точно не будут сносить, те, что легко найти и при потери с Ютуба (кинофильмы, скажем))... И, главное, на всё сразу не хватает ужасно времени. Выкраивать приходится по паре часов в неделю, буквально...

Выхода два - ещё меньше спать или напихать столько рекламы, чтобы мог работать только тут.

AleksejLt> Для полной шифровки надо прятать форум от неавторизированных пользователей. Но что тогда за форум?

В идеале пользователи форумов должны однозначно идентифицироваться, но оставаться анонимными в реале. Такую возможность сегодня предоставляет множество закрытых p2p-систем, но невозможно обеспечить такую работу кроссплатформенно. Так что я пока этим вопросом не заморачиваюсь. Все пользователи моей части системы идентифицируются md5 от e-mail, что, с одной стороны, не раскрывает их e-mail для спамеров и недоброжелателей (вся информация исходящего сообщения общедоступна), с другой, позволяет однозначно идентифицировать их и использовать тот же Gravatar для аватарок А вопрос анонимности e-mail может решаться уже пользователем использованием одноразовых ящиков, веб-почты через tor или почтой через i2p-почтовые гейты.

Balancer>> Торренты тут никаким боком не подходят. Они же не обеспечивают возможность общения
AleksejLt> Я про хранение архивов, особенно видео. Ты хранишь магнит-ссылку, а активные пользователи раздают файлы.

Это другая история. Я, говоря про «растаскивание», имел в виду распределение архивов форума, именно сообщений. Чтобы их нагрузка не ложилась на одну ноду. За 15 лет база сообщений доросла до 7.5Гб. А вся база (компилированный HTML, связи, топики, кеши и т.п.) — 16Гб. И темпы заполнения растут. Так что однозначно надо шардиться

Что же касается хранения видео — тут стоит вопрос распределения между участниками:

AleksejLt> Тяжело сказать, когда не понимаешь всей архитектуры, но я бы пробовал файловую структуру. Тяжёлые файлы группируешь в директории - видео_год_месяц, картинки_год_месяц и т.д.

Количество не вопрос. Вопрос в объёмах. Тут нужно коллективно распределять. Я тему заводил:



Но пока никакого плана нормального нет. В RetroShare на практике хранить оказалось неудобно.

Нужна какая-то система, где можно публиковать данные автоматически, без ручного выкладывания и т.п.

Со временем, когда устаканится всё, может будут эффективны системы blockchan-подобные, но сегодня ничего кроме Tahoe-LAFS в голову не приходит.

Balancer> Он сделал это до того, как в Facebook'е появились тысячи официальных страниц китайских производителей, миллионы китайцев и руководство КПК Естественно, и в России [почти] никто не умрёт, если FB заблокировать. Но последствий будет намного больше, чем в КНР.
Вот интересно, ты воспринимаешь наличие страничек на мордокнижечке как богом данную реальность. И считаешь, что метания г****н в этих пордокнижечках (особенно учитывая подчиненную позицию - в любой момент любая может быть заблочена за любое мнимое нарушение из носу выковоренных правил) - это нечто крайне необходимое для рф?

Balancer> Никто не сказал. Просто факт. Как факт, что большинство российских крупнейших сайтов располагается в заграничных датацентрах.
датацентры - это еще не всё. Не уводи в сторону от тезиса
Речь шла о площадке информационной. Как мордокнига, триппер, и прочая подобная шелуха. Кто сказал, что публичная жизнь властей РФ обязана проходить на этих площадках? Кто сказал, что там должны проходить обсуждения чего угодно, связанного с РФ? Ты предложи конгрессу сша обсуждать законопроекты через страницы вконтактика - на тебя посмотрят как на умалишенного. Но в точности зеркальная ситуация тебе считается нормой.

Bredonosec>> а тем не менее было бы правильно переходить с сервисов гугла на находящиеся не на территории сша.
Balancer> Так альтернатив на мобильном рынке просто нет. Предлагаешь писать российскую iOS?
Вот уж не думал, что гугл работает на iOS )) Стив джобс аж крышку гроба приоткрыл, поглядеть, кто это так ему авторитет подымает ))

Balancer> Это будет технологическим провалом, который отбросит Россию на 10-15 лет назад и потребует затрат в миллиарды долларов.
чего ради провал? Чего ради отбросит? Провалы и убытки - именно из-за того, что позиция вынужденно обязывает смириться с техническим, коммерческим и любым иным шпионажем, дезой, фактически контролем.
Что создание сервисов потребует бабла - это несомненно. Но это окупится в будущем. Окупится как затруднением шпионажа и как следствие более успешными действиями игроков российского рынка, как вынужденным подьемом школы программирования (кодеров нужно больше, у них есть работа, работа хорошо оплачиваемая => есть стимул учиться, совершенствоваться, бо социальный лифт), так и прочими профитами.
Balancer> Вернись в тему повыше. Без ущемления всех пользователей сети в общем случае это невозможно.
Тебя же не смущают ущемления тебя лично гуглом, когда он покупает и закрывает нравившиеся тебе сервисы. Почему тебя настолько пугает то, что часть игроков переселятся на другие площадки?

AleksejLt> Не думай, что в России самая злобная цензура. Я, к примеру, не очень хотел бы деанонимизации
аналогично. Знание, что ресурс может быть подвергнут аудиту или каким угодно иным вмешательствам органов запада, для меня обрубит возможность далее участвовать, ибо просто выкладывание некоторых видов неполиткорректной инфы про местную жЫзнь здесь можно натянуть на статью вполне реального ук.
В смысле, участвовать вообще. поскольку и ранее выложенного с лихвой хватит.

Bredonosec>> Постепенно, но переходить.
Balancer> Это будет технологическим провалом, который отбросит Россию на 10-15 лет назад и потребует затрат в миллиарды долларов.

Первая часть предложения противоречит второй.

Если найдутся миллиарды долларов, это Россию само по себе никуда не отбросит.

О незаменимости гугла можно с тем же яндексом пообщаться.

Масса людей гуглом вообще не пользуется.

Balancer>> Если речь об обходе потенциальных блокировок, то с этой точки зрения проблем нет и без i2p, благо хостится она за пределами РФ
AleksejLt> Не думай, что в России самая злобная цензура. Я, к примеру, не очень хотел бы, деанонимизации

А в чем проблема?

Честный человек должен отвечать за свои слова и свои дела.

У меня нет особого поклонения перед существующим в России режимом, но это мало что меняет. Вопрос в правильном определении вектора действий оппозиции и единстве, а не в радостном анонимном писании "...й" на заборе.

Именно в анонимизации корень практически все проблем интернет. Вирусы, трояны, воровство паролей, пиратство, засилье порнографии и извращений.

Я думаю, существовала бы альтернатива цивилизации Запада такая сеть давно бы победила. Потому что абсолютному большинству людей вся эта анонимизация нафиг не нужна. Им нужна нормальная, безопасная среда общения. В том же вконтакте огромное число людей кладет на эту анонимизацию и спокойно выкладывает свои данные.

Balancer> В идеале пользователи форумов должны однозначно идентифицироваться, но оставаться анонимными в реале

Терморектальный криптоанализ взламывает такие системы на ура. Было бы желание

Balancer> Все пользователи моей части системы идентифицируются md5 от e-mail, что, с одной стороны, не раскрывает их e-mail для спамеров и недоброжелателей

Я не сомневаюсь, что с твоей стороны защита есть. Но если конфискуют базу (или просто получат доступ) то всё тайное станет явным

Balancer> Это другая история. Я, говоря про «растаскивание», имел в виду распределение архивов форума, именно сообщений. Чтобы их нагрузка не ложилась на одну ноду. За 15 лет база сообщений доросла до 7.5Гб.

Может стоит смотреть на облачные технологии, если такая серьёзная нагрузка?
Кстати, немного не в тему, но недавно на Хабре была статья про Баду и их переход на РНР7.

AleksejLt> Может стоит смотреть на облачные технологии, если такая серьёзная нагрузка?

А кто их оплачивать будет? Пока оплачиваю я — проблем нет и со своим сервером (это сильно дешевле облаков выходит!). Если я уйду из дела, все «облака» пропадут вместе с сервером.

А нужна именно система, не зависящая от одного владельца.

AleksejLt> Кстати, немного не в тему, но недавно на Хабре была статья про Баду и их переход на РНР7.

С процессором и памятью проблем нет. А дисковое пространство оно не экономит. Хотя на PHP7, безусловно, переход будет, при чём скоро. Я на тестовых серверах сейчас обкатываю.

Balancer> А кто их оплачивать будет? Пока оплачиваю я — проблем нет и со своим сервером (это сильно дешевле облаков выходит!)

Тут надо смотреть какое облако будешь пользовать. Возможно, что какая-нибудь хе*ня хероку будет дешевле? Интересен порядок суммы - 100/1000 баксов в год. На ВИФе, в свое время, деньги на сервер собирались.

Balancer> Хотя на PHP7, безусловно, переход будет, при чём скоро. Я на тестовых серверах сейчас обкатываю.

Как впечатления? Я даже 5-й особо не щупал, но судя по юзингам и неймспейсам стал похож на язык программирования .нет/джаву

AleksejLt> Тут надо смотреть какое облако будешь пользовать.

Не важно. Любые облака со свободным Интернет-доступом оказываются сегодня дороже выделенного сервера. Я изучал вопрос Облачные решения полезны только за счёт снижения расходов на администрирование и лёгкости масштабирования. Последнее мне не актуально, первое — условно бесплатно

AleksejLt> Возможно, что какая-нибудь хе*ня хероку будет дешевле?

Одна только БД на 16Гб оперативки на Хероку обойдётся в $750/мес. Это при гарантированном даунтайме менее часа в месяц. У меня сервер с 32Гб оперативки стоит €42 в месяц

AleksejLt> Интересен порядок суммы - 100/1000 баксов в год. На ВИФе, в свое время, деньги на сервер собирались.

Свой сервер иметь по деньгам не выгодно уже несколько лет как. Может, лет 5-7. На авиабазный сервер в 2003-м собирали. Потом, когда старый накрылся, в 2009-м я уже раздумывал, собирать снова или уходить на выделенные сервера, но тогда вопрос решился спонсорской поддержкой от ETegro. Когда и этот сервер накрылся, в 2014-м, стало уже однозначно выгодно брать выделенный сервер на Хетцнере.

AleksejLt> Как впечатления?

Да никак, особо. Реально шустрее работает, но принципиальных отличий от PHP5 нет.

AleksejLt> Я даже 5-й особо не щупал, но судя по юзингам и неймспейсам стал похож на язык программирования .нет/джаву

PHP очень сильно, я бы сказал, революционно менялся при переходе от PHP4 к PHP5 и потом на PHP5.3. Много было интересного в PHP5.4/5.5. Но главное изменение в его инфраструктуре — это composer. Пакетный менеджер. Разработка и поддержка перешли на качественно новый уровень. Всё стало «как у людей» и местами даже лучше

Balancer> стало уже однозначно выгодно брать выделенный сервер на Хетцнере

Понятно, что ты лучше владеешь информацией, просто было интересно. Пробовал тупо разделить сервер - статику отдавать с другого сервера? Цена практически удвоится, а вот производительность вряд ли...

Balancer> PHP очень сильно, я бы сказал, революционно менялся при переходе от PHP4 к PHP5 и потом на PHP5.3. Много было интересного в PHP5.4/5.5. Но главное изменение в его инфраструктуре — это composer

Вот его я и пропустил. Отличная вещь. Сейчас попробовал залить РНР проект на хероку - всё как у взрослых - гит, консоль и никакого ФТП

AleksejLt> Пробовал тупо разделить сервер - статику отдавать с другого сервера?

Самая тяжёлая статика, аттачи, итак в значительной степени кешируются через CloudFlare. Остаток грузит не очень сильно. Основная нагрузка — БД.

AleksejLt> Вот его я и пропустил. Отличная вещь. Сейчас попробовал залить РНР проект на хероку - всё как у взрослых - гит, консоль и никакого ФТП

Вот ещё оцени

Balancer> Основная нагрузка — БД.

А если тупо делить по форумам/топикам?

Balancer> Разработка в облаке [Balancer#16.09.14 21:40]

Фигасе! Там даже С++ есть

AleksejLt> А если тупо делить по форумам/топикам?

Ну, вот, я и планирую делить по категориям в рамках Infonesy Только пока не решил простой способ перемещения топиков и тем между разными категорями/нодами. Наверное, придётся полным экспортом/импортом делать.

Ну и для пущего эффекта ещё и по годам можно форумы нарезать. Только список обновлений должен будет сейчас одним потоком показывать списки обновлений старых топиков за прошлые годы, что тоже лишняя сложность и сущность.

Balancer> Ну, вот, я и планирую делить по категориям в рамках Infonesy

Что за загадочная система? Ты ее с нуля пишешь или на основе чего-то?

Balancer> Ну и для пущего эффекта ещё и по годам можно форумы нарезать.

Как ты будешь склеивать данные по поиску с разных серверов?