Je bosse au 4/5 sur les modèles de langage (LLM, parfois appelées IAs) et à 2/5 sur la robotique open hardware AMA - eviltoast

Hello!

bon slrpnk.net a l’air d’être dans les choux alors je lance ce post avec mon compte de secours jlai.lu

Alors je lance cet AMA car ça fait un moment que je bouffe du machine learning à temps plein et pour suivre les news technique, je passe le plus clair de mon temps à lire de l’anglais. Et je trouve qu’en français, ben y a pas grand chose. C’est presque uniquement du discours dystopique mal informé.

Rien sur la recherche sur l’alignement, rien sur les modèles open source (condition sine qua non pour que ça se passe bien), rien sur les évolutions sociales positives que ça peut amener.

On parle juste de OpenAI, Google et Musk qui ne sont que quelques arbres malades d’une forêt bien plus grande.

Perso ça va faire 5 ans que je fais du deep learning professionnellement. J’ai travaillé pour Skymind, qui développait deeplearning4j. Ça vous dira rien, c’est un projet plus ou moins mort, mais c’était une tentative de faire un framework alternatif avant que tout le monde passe à pytorch. Puis je suis devenu principalement utilisateur des gros modèles entraînés par d’autres.

J’ai travaillé sur les modèles de vision au départ et maintenant presque exclusivement sur des modèles de langage. J’ai réussi à passer au 4/5e l’année dernière pour me consacrer aussi avec le fablab local à de la robotique open hardware (où bien sur j’utilise des modèles de deep learning pour la vision).

Ça fait plus de 20 ans que j’ai réalisé que l’IA a le potentiel de changer le monde pour le mieux, c’est pas par hasard que j’ai essayé de m’orienter le plus possible là dedans et ça me fait mal au cœur de voir tant de gens croire que notre seul but est d’aider Sam Altman à se faire quelques milliards de plus, qui ne voient pas les capacités de transformation de cette tech.

J’ai déjà donné quelques avis en anglais pour éviter le “doomism” dans des romans de SF (https://slrpnk.net/post/6100538) mais le faire dans ma langue natale ferait du bien!

Et, si, le titre est correct, ça me fait 6/5 de boulot, mais quand on aime on ne compte pas!

Voila, je préférerais qu’on reste sur ces thèmes mais AMA anyway!

  • best_username_ever@sh.itjust.works
    link
    fedilink
    Français
    arrow-up
    6
    ·
    6 months ago

    Qu’est-ce qui peut changer le monde avec l’IA ?

    Je ne peux pas m’empêcher de faire le parallèle avec l’informatique qui, bien qu’ayant changé le monde d’une certaine façon, nous fait travailler plus pour gagner moins (et je dis ça en tant que dev…)

    • keepthepace_@jlai.luOP
      link
      fedilink
      Français
      arrow-up
      3
      arrow-down
      1
      ·
      6 months ago

      L’IA a le potentiel de remplacer TOUS les boulots. 100%. Robotique + IA veut dire que nous pouvons repenser la société autrement qu’autour de l’organisation de la production via le labeur humain. La fin du travail humain, je trouve que c’est un gros changement.

      Et c’est probablement pas le plus gros que cette explosion d’intelligence va nous amener. Au niveau de la recherche, de la démocratie et de la culture, ça va avoir des implications très profondes.

      • best_username_ever@sh.itjust.works
        link
        fedilink
        Français
        arrow-up
        6
        ·
        6 months ago

        Comme l’ère industrielle nous promettait qu’il n’y aurais plus de travail manuel, l’informatique plus de travail intellectuel, et qu’avec internet on serait tous intelligents et curieux.

        Qu’est-ce qui est vraiment différent avec une IA qui sera contrôlée par des entreprises ou gouvernement, et des milliardaires qui refuseront de donner tout leur argent ?

        • keepthepace_@jlai.luOP
          link
          fedilink
          Français
          arrow-up
          2
          arrow-down
          1
          ·
          6 months ago

          Le travail physique, où la force est un pré-requis, a effectivement disparu. La raison pour laquelle beaucoup de travail manuel existe encore alors qu’on a des machines plus rapides, plus fiables et plus précise que des humains est l’insuffisance du software. Cette insuffisance est en train de disparaître.

          avec internet on serait tous intelligents et curieux.

          Avec internet on a tous à disposition un savoir encyclopédique. J’ai jamais vu de promesse sur la curiosité, mais on a en effet, de fait, accès à une quantité d’information phénoménale grâce à cet outil.

          une IA qui sera contrôlée par des entreprises ou gouvernement

          Et c’est cette vision que je voudrais combattre le plus. Les gouvernements, déjà, ils sont à la ramasse, aucun n’a un programme d’IA compétent. Les entreprises, elles ont du mal à rester au niveau des modèles ouverts, libres, que chacun peut faire tourner comme il veut.

          Personne ne veut qu’une entreprise ait un monopole sur cette tech, pas même les autres entreprises de high-tech, c’est pour ça qu’elles collaborent à des projets open source et à des modèles ouverts. C’est pour ça que plein de chercheurs quand ils se font recruter par les grands groupes insistent pour pouvoir continuer à publier.

          On peut faire tourner un LLM décent sur un PC avec une bonne carte graphique. Tu as raison de ne pas vouloir d’un futur où ce sont des entreprises riches qui controlent cette tech, mais on a de la chance d’avoir évité cette timeline.

          Tu peux maintenant utiliser cette tech, soit localement sur une bonne machine, soit en louant des serveurs, soit en utilisant la charité générale de la Horde IA faire tourner les modèles que tu veux sur les tâches que tu veux sans demander leur permission à personne.

          • best_username_ever@sh.itjust.works
            link
            fedilink
            Français
            arrow-up
            7
            ·
            6 months ago

            Le travail physique, où la force est un pré-requis, a effectivement disparu

            Les ouvriers qui se détruisent le dos s’en souviendront. C’est possible mais si le patron n’achète pas de machine, ça reste un pré-requis.

            l’insuffisance du software

            Curieux de savoir ce qui te semble manquer parce que tu en parles beaucoup.

            J’ai jamais vu de promesse sur la curiosité

            On a eu plein de propagande sur la révolution d’internet pendant au moins 10 ans. Ça n’est jamais arrivé car approprié par les grandes entreprises.

            on a de la chance d’avoir évité cette timeline

            L’IA moderne façon ChatGPT vient a peine de se dévoiler il y a un an ou deux, la plupart des gens savent à peine que ça existe. Je pense que, comme internet, il faudra attendre une bonne dizaine d’années avant de voir comment les entreprises vont se l’approprier.

            Finalement, pour que l’IA soit utile et ne nous rende pas tous chômeurs, il faudrait qu’on vote en masse pour un président communiste technophile, et je doute que ça arrive.

            • keepthepace_@jlai.luOP
              link
              fedilink
              Français
              arrow-up
              3
              ·
              6 months ago

              Ce que je veux dire par travail physique c’est un travail où ce qu’on embauche, c’est la force, où ta capacité à porter 80 kilos au lieu de 50 te rend 60% plus précieux. Il y a peu de boulots où la pure force physique est demandée.

              Et tu le dis toi même: le patron peut acheter la machine. Des machines pour forcer à notre place, on en a partout.

              l’insuffisance du software

              Curieux de savoir ce qui te semble manquer parce que tu en parles beaucoup.

              Maintenant? Plus rien. Mais ça ne fait que un an ou deux que le contrôle de bipèdes ou même de quadrupèdes dans un environnement inconnu est possible et que des robots savent utiliser intelligemment leurs membres.

              On a eu plein de propagande sur la révolution d’internet pendant au moins 10 ans. Ça n’est jamais arrivé car approprié par les grandes entreprises.

              Wikipedia, le projet le plus important d’internet, n’est pas possédé par une entreprise. Je partage ton cynisme sur certaines choses, mais l’amélioration de la communication à tous les niveaux que promettait internet est effectivement venue. J’ai payé 10 francs/minutes pour des appels internationaux, maintenant je discute de tout et de rien avec des amis au Japon ou au Québec sans dépenser un sou. Ça a donné une force au mouvement open source d’ailleurs. Et je travaille maintenant avec des Américains, Grecs et Canadiens à distance, sans bouger de chez moi. Vous imaginez pas à quel point c’était de la SF juste même y a 15 ans quand j’ai commencé.

              Tout ce que les entreprises “se sont approprié” c’est par pure paresse et commodité qu’on les laisse faire. De Peer Tube à NextCloud, de Matrix à Lemmy, on peut faire sans avec une aisance que tous les écrivains de cyperpunk pensaient complètement utopiste.

              Je pense que, comme internet, il faudra attendre une bonne dizaine d’années avant de voir comment les entreprises vont se l’approprier.

              Ce qui m’intéresse surtout c’est comment nous, on va se l’approprier. Les outils sont là, gratuits, avec une communauté super active pour les améliorer et les utiliser. Le seul obstacle à cette appropriation de l’outil ce n’est pas la rapacité, la corruption, le lobbyisme, mais bien le peu d’information et l’ignorance de ces solutions, ça c’est facile à combattre, mais surtout le défaitisme et la croyance que non, vraiment, l’open-source c’est trop beau pour être vrai, ça ne droit pas être possible, et ce préjugé là, il est dur à combattre.

              Finalement, pour que l’IA soit utile et ne nous rende pas tous chômeurs, il faudrait qu’on vote en masse pour un président communiste technophile, et je doute que ça arrive.

              Ah oui, un·e anarcho-communiste technophile aurait mon vote tout de suite. Mais la gauche molle peut faire l’affaire: Hamon avait le revenu universel dans son programme, un candidat démocrate aux US aussi. Et si le revenu universel est difficile à vendre, l’abaissement de l’âge de la retraite est une façon de se rapprocher simplement de ce but.